На чем бы сваять web UI и сервер с нуля?

[tessob]

Юзеров как раз не много, да и Web UI - не основная функция проекта. Чисто менеджмент и мониторинг. Потому и простор выбора фреймворка для UI такой, что все равно, лишь бы работало и было не страшно оутсоурснуть...
Вот для back-end требований куда больше потому, как практически real-time и время отклика от REST API довольно критично (не больше секунды при теоретической пиковой нагрузке 256 одновременных транзакций). Каждая транзакция (помимо складывания всего и вся в лог, что само по себе отдельная задача) это - довольно простая выборка из DB, обработка и отсылка по внешним REST API.

Во-первых, аутсорснуть - это всегда страшно. Я много раз думал, что хуже чем сейчас накодить уже не возможно... но Вы знаете, есть таланты, которые меня снова и снова переубеждали.

Во-вторых, если вам база нужна преимущественно для чтения, то постгреса вам будет за глаза. Только, мой совет - идите срезу в облако. Тот же Амазон из коробки сейчас поднимает рид-онли реплики для постгреса и меняет железо под ними по требованию. Все это в несколько кликов. Если вы решите делать это своими силами, то столкнетесь с более острой проблемой - как найти в проект вменяемого DBA.

[KVA]

Если вы решите делать это своими силами, то столкнетесь с более острой проблемой - как найти в проект вменяемого DBA.

Oleg-NY, колитесь это проект для себя с нуля или на дядю работа? И кто есть в наличии прямо сейчас? От этого и будем плясать подбирая вам технологии и команду.

[iDesperado]

Во-вторых, если вам база нужна преимущественно для чтения, то постгреса вам будет за глаза. Только, мой совет - идите срезу в облако. Тот же Амазон из коробки сейчас поднимает рид-онли реплики для постгреса и меняет железо под ними по требованию. Все это в несколько кликов. Если вы решите делать это своими силами, то столкнетесь с более острой проблемой - как найти в проект вменяемого DBA.

а можете провести простой эксперимент? в табличку без индексов из тройки-четверки полей заинсертить 2-3 млн записей, удалить и еще пару раз повторить. оставить одну запись. как быстро "фулскан" одну запись теперь вытянет?
в гуглоклауде их mysql превращается в тыкву после такого теста, селект 1 записи минуты занимает, при том что датафайл таблички порядка 180 мб.

[Oleg-NY]

Во-первых, аутсорснуть - это всегда страшно. Я много раз думал, что хуже чем сейчас накодить уже не возможно... но Вы знаете, есть таланты, которые меня снова и снова переубеждали.

Во-вторых, если вам база нужна преимущественно для чтения, то постгреса вам будет за глаза. Только, мой совет - идите срезу в облако. Тот же Амазон из коробки сейчас поднимает рид-онли реплики для постгреса и меняет железо под ними по требованию. Все это в несколько кликов. Если вы решите делать это своими силами, то столкнетесь с более острой проблемой - как найти в проект вменяемого DBA.

Я вас прекрасно понимаю, но... я не могу все один делать тем, более, что UI рисовать и кодить просто не моё. А аутсорсить тоже надо с умом. Индия отпадает. Есть пара вариантов в России, но "будем посмотреть"! Поскольку UI - не соль проекта, то и риск не велик. В крайнем случае доделаем/переделаем... ))

[Oleg-NY]

Если вы решите делать это своими силами, то столкнетесь с более острой проблемой - как найти в проект вменяемого DBA.

Oleg-NY, колитесь это проект для себя с нуля или на дядю работа? И кто есть в наличии прямо сейчас? От этого и будем плясать подбирая вам технологии и команду.

Всякий проект это и на дядю и на себя. В части последнего собственно и вопрос был изначально про технологии. Любую подобную возможность надо использовать для собственного обогащения как материально, так и интеллектуально. )) Если бы было 100% "на дядю" (шабашка?), то и сомнений бы не было - делаешь на том, что умеешь, дабы оптимизировать единственный показатель деньги/время.

Команду будем подбирать, когда принесут чемоданы денег, а пока только технологии и желательно open source. Не догоним, так согреемся! ))

[tessob]

Во-вторых, если вам база нужна преимущественно для чтения, то постгреса вам будет за глаза. Только, мой совет - идите срезу в облако. Тот же Амазон из коробки сейчас поднимает рид-онли реплики для постгреса и меняет железо под ними по требованию. Все это в несколько кликов. Если вы решите делать это своими силами, то столкнетесь с более острой проблемой - как найти в проект вменяемого DBA.

а можете провести простой эксперимент? в табличку без индексов из тройки-четверки полей заинсертить 2-3 млн записей, удалить и еще пару раз повторить. оставить одну запись. как быстро "фулскан" одну запись теперь вытянет?
в гуглоклауде их mysql превращается в тыкву после такого теста, селект 1 записи минуты занимает, при том что датафайл таблички порядка 180 мб.

Я же прямым текстом написал исходное ограничение. Кроме того, я сомневаюсь, что производительность Вашего сценария окажется сильно лучше, если автор просто поднимет дефолтную СУБД на собственном серваке. Если же мы собираемся рассматривать какую-либо экзотику (о чем изначально речи не было), то очевидно, что решение будет так же, в значительной мере, экзотическим.

[iDesperado]

Я же прямым текстом написал исходное ограничение. Кроме того, я сомневаюсь, что производительность Вашего сценария окажется сильно лучше, если автор просто поднимет дефолтную СУБД на собственном серваке. Если же мы собираемся рассматривать какую-либо экзотику (о чем изначально речи не было), то очевидно, что решение будет так же, в значительной мере, экзотическим.

да мне вобщем-то задача автора не интересна я про клауд базы в целом. внезапно появилось поскудное ощущение, что это чудовищное дурилово. ванильный mysql на своем серваке такой тест в тыкву не превращает. фуллскан такой записи - доли секунды. меня собственно интересует это особоенность лишь гугла или у амазона те же яйца ?

[tessob]

Я бы не сказал, что облака это дурилово. Понятно, что своя инфраструктура -- всегда лучше. Что бы там евангелисты не воспевали. Только для поднятия и поддержания инфраструктуры нужны человеческие ресурсы, которых на начальном этапе никогда не бывает много. Ну, и сложно предвидеть, какие именно технологии доживут до очередного мильпоинта. Скажем, если сегодня у меня возникнет понимание что мне нужны очереди или мессадж брокеры в решении, то я просто подниму эту инфраструктуру в пару кликов. И если окажется так, что брокеры себя не оправдают и завтра окажутся не нужны, то я так же в пру кликов их отключу. Короче, мое мнение, что начинать лучше в облаке, но по мере взросления решшния перетаскивать его на свою инфраструктуру.

Что касается mysql, то я его вообще никогда не любил. Я даже не удивлюсь, если приведенная веше проблема характерна именно для мускуля, а не для гугла или облаков. У меня с облачными базами (преимущественно Амазон) никаких проблем не было. Хотя, и какой либо экзотики, вроде Вашей у меня тоже не было.

[iDesperado]

Что касается mysql, то я его вообще никогда не любил. Я даже не удивлюсь, если приведенная веше проблема характерна именно для мускуля, а не для гугла или облаков. У меня с облачными базами (преимущественно Амазон) никаких проблем не было. Хотя, и какой либо экзотики, вроде Вашей у меня тоже не было.

вы удивитесь, но как я уже написал на ванильном mysql ничего подобного не добиться. думаю это связанно с тем, что они переписывают подсистему хранения и складывают датафайлы на блочное хранилище S3.
тест займет 5-10 минут, меньше чем ответ писать.

кстати у mysql/innodb нормальный undo лог, это как раз у постгреса родовая травма с мусором в датафайлах и vacum. но я предлагаю потестить крошечный набор, где по любому нечего делать минутами.

[Oleg-NY]

Интересная дискуссия, конечно, но в другой раз! В моем конкретном случае своя инфраструктура is a must. Period.
Как я уже сказал выше, облака вовсе не исключены, но как inter-site management в будущем.

Про базы тоже интересно, но, надеюсь, не актуально. Если postgre будет лажать с откатом простых транзакций под ORM - пойдет лесом... Который из них? Хороший вопрос! )) В этом и проблема выбора на данный момент, чтобы минимизировать возможный ущерб в будущем!

[katit]

То нужны неожиданные мнения, то мэнстрим. Вы уж определитесь там.

Если нужен мейнстрим то Angular 8 + Asp.Net core с любой базой по вкусу.

Да, а если хочется немного чего-то эдакого -
https://dotnet.microsoft.com/apps/aspne ... pps/client

[Oleg-NY]

То нужны неожиданные мнения, то мэнстрим. Вы уж определитесь там.

Если нужен мейнстрим то Angular 8 + Asp.Net core с любой базой по вкусу.

Да, а если хочется немного чего-то эдакого -
https://dotnet.microsoft.com/apps/aspne ... pps/client

Да, кстати, тоже вариант! Уже слышал про это чудо. Надо будет поиграться...
Пуститься во все тяжкие с мелкософтом если вкупе с .NET Core?