Что случилось с сиквельными скиллзами за последние годы?

[Likenew]

А если машина случайоно выключится во время работы МонгоДБ, и данные потеряются, то и хрен с ними,с данными. Не очень то надо эти данные. Какая база, такие и данные.

по-любому бацкуп никто в Орацле не отменял тоже.

Дело не бэкап, у МонгиДВ нет транзакций (во всяком случае не было раньше), поэтому невозможно откатить повреждения, если что.
Т.е. если она упадет, то какие-то данные будут действительно потеряны.
Это далеко не всегда приемлемо.

Так Монго не транзанкционная база! У нее другие задачи. Просто раньше все апплицатионс были втиснуты в 3 уровневую архитектуру, где РДБМС была главной, И сложной, И дорогой. И чтобы туда засунуть данные надо очень долго их чистить. А теперь народ имеет всякие монги, где все в текстовом файле хранится, или ваще все вперемешку, текст, аудио, видео, нет ограничений на размер. И структура очень простая, ключ И значение.

Я вам скажу больше. Мы вот переливали наш Орацле в амазонские облака, используя <hadoop/Hive>. Так вот до <Hive14> там не было ваще <update ni delete>, сейчас добавили, а я думаю, а зачем И так все получалось . Просто каждый раз, когда надо было что-то изменить, надо создать новую таблицу < create table tab_name as select ....> И уже туда пишете все, что хотели бы иметь после апдейта. И ни тебе курсоров, ни функций с процедурами, красота

[АццкоМото]

Написано коряво, поздравим себя с "разделением труда"

поздравляю тебя со званием нечитателя. код гугловский, о чем было написано КАПСОМ. а в реальном коде он еще более чудовищный

но по сути, чем SQL заменить?
Теоретически можно было использовать какои-нибудь API, например SQL-DMO для SQL Server, но он сцуко для всех БД разный , а SQL стандартизован.

и чо, когда КОБОЛ был стандартизован, а Си - нет, так сразу все, Си надо было похоронить? у тебя извращенная логика. API к реляционной базе не должен быть завязан на строковом представлении запроса. и, таки да, стандартизован.

Делай правильный вывод, если даже великие гугло-девелоперы используют SQL, то и нам непозорно.

вам, может, и не позорно. мне же очевидно, что гугл просто не стал тратить лишние силы на ранних стадиях ондроеда и тупо прикрутил SQLite, при этом постаравшись абстрагироваться от него как можно дальше. вот и все. оставайтесь в непозорном болоте

[mskmel]

Просто раньше все апплицатионс были втиснуты в 3 уровневую архитектуру, где РДБМС была главной, И сложной, И дорогой.

RDBMS не самая главная, и уж точно не самая дорогая. Она просто хранилище, да очень качественное и умное хранилище, но всего лишь хранилище.

Да, лицензии на БД раза в два дороже лицензий на WebLogic например. Но то что я вижу вокруг - соотношение app servers к DB servers примерно 1 к 50..100. Т.е. денег на лицензирование app серверов уходит на пару порядков больше.

Если исходить из того что БД и app server бесплатные, то всё равно по железу на app servers будет уходить денег больше.

Просто каждый раз, когда надо было что-то изменить, надо создать новую таблицу < create table tab_name as select ....> И уже туда пишете все, что хотели бы иметь после апдейта. И ни тебе курсоров, ни функций с процедурами, красота

Т.е. если надо одну запись поменять в 1ТБ таблице на в любой почти RDBMS то это 0.0001мсек, с новомодными BigData это каждый раз весь 1ТБ перелопачивать? И зачем такое кино нужно?

[Likenew]

Просто каждый раз, когда надо было что-то изменить, надо создать новую таблицу < create table tab_name as select ....> И уже туда пишете все, что хотели бы иметь после апдейта. И ни тебе курсоров, ни функций с процедурами, красота

Т.е. если надо одну запись поменять в 1ТБ таблице на в любой почти РДБМС то это 0.0001мсек, с новомодными БигДата это каждый раз весь 1ТБ перелопачивать? И зачем такое кино нужно?

Ну не скажите, я работала с таблицами, в которые каждый день добавлялось более миллиарда записей.
Вы мыслите старыми категориями. Ето типа <object oriented > подход. У нас после того как все загрузилось в базу, запускается батч, обрабатывается все, записывается в таргеттаблес. Все ето легко перевелось на облако. Данные хранятся в <s3>, они не перелопачиваются. Они читаются в кластер, обрабатываются, И таргеттаблес данные опять записываются в <s3>. У нас, если надо что-то поменять, надо репезапустить батч как в Орацле так И в облаке. Только в Орацле надо было архивировать все данные до изменения для отчетности, И потом данные меняются, а в хадоопе после выполнения данные пишутся в ту же директорию только с новой версией. Потом, все данные изначально партитионед, И хранятся в текстовом виде, т.е читаете одну партитион, один текстовый файл, если не укажете что нужно больше данных, И переносите на кластер, туда же копируется весь ваш код, там все обрабатывается, результат опять переносится в облако на хранение, или как у нас пока записывается в Орацле для трансацтион процессинг. Сейчас переливаем весь конечный результат в <s3>, чтобы заменить Орацле на Постгрес. Все логично И красиво. Внутри конечно все много сложнее, чем было, но контора говорит, что все дешевле, чем на Орацле.

[Easbayguy]

Ну не скажите, я работала с таблицами, в которые каждый день добавлялось более миллиарда записей.

В каждую таблицу по миллиарду записей? Чисто из спортивного любопытства, сколько дней в ней хранились данные?
У меня индус из яхоо, так говорил что в его кассандру каждый день пишется по террабайту, на вопрос а что случается дальше с данными, как то подзавис.

[mskmel]

У нас после того как все загрузилось в базу, запускается батч, обрабатывается все, записывается в таргеттаблес. Все ето легко перевелось на облако.

batch это совсем другой тип задач.

Оракл -> Постгресс логичный ход на текущем этапе развития HW и самого Постгресса

[stenking]

Ну не скажите, я работала с таблицами, в которые каждый день добавлялось более миллиарда записей.

В каждую таблицу по миллиарду записей? Чисто из спортивного любопытства, сколько дней в ней хранились данные?
У меня индус из яхоо, так говорил что в его кассандру каждый день пишется по террабайту, на вопрос а что случается дальше с данными, как то подзавис.

Откуда ему знать - это же корпорейт. Винтик просто закрутил свою гайку а какой в ней смысл винтику знать не обязательно.

[Easbayguy]

Ну не скажите, я работала с таблицами, в которые каждый день добавлялось более миллиарда записей.

В каждую таблицу по миллиарду записей? Чисто из спортивного любопытства, сколько дней в ней хранились данные?
У меня индус из яхоо, так говорил что в его кассандру каждый день пишется по террабайту, на вопрос а что случается дальше с данными, как то подзавис.

Откуда ему знать - это же корпорейт. Винтик просто закрутил свою гайку а какой в ней смысл винтику знать не обязательно.

Ну от человека который позиционировался как кассандра архитектор, ожидалось знание of pruning methodology. А то террабайт в день, а как удаляете? а мы не удаляем!

[Likenew]

Ну не скажите, я работала с таблицами, в которые каждый день добавлялось более миллиарда записей.

В каждую таблицу по миллиарду записей? Чисто из спортивного любопытства, сколько дней в ней хранились данные?
У меня индус из яхоо, так говорил что в его кассандру каждый день пишется по террабайту, на вопрос а что случается дальше с данными, как то подзавис.

Мы писали в Орацле, несколько лет, по закону сколько положерно для отчетности.

[Likenew]

У нас после того как все загрузилось в базу, запускается батч, обрабатывается все, записывается в таргеттаблес. Все ето легко перевелось на облако.

батч это совсем другой тип задач.

Оракл -> Постгресс логичный ход на текущем этапе развития ХШ и самого Постгресса

Так об етом же И речь, что ето совсем другой рынок, где можно без Орацле обойтись.

[Likenew]

Ну не скажите, я работала с таблицами, в которые каждый день добавлялось более миллиарда записей.

В каждую таблицу по миллиарду записей? Чисто из спортивного любопытства, сколько дней в ней хранились данные?
У меня индус из яхоо, так говорил что в его кассандру каждый день пишется по террабайту, на вопрос а что случается дальше с данными, как то подзавис.

Откуда ему знать - это же корпорейт. Винтик просто закрутил свою гайку а какой в ней смысл винтику знать не обязательно.

Мы знаем, у нас трейнинг каждый год, И обязательное требование архивировать именно для отчетности по закону. Теперь на облаке ето не архивируется, просто хранится еще одна версия файла.

[Easbayguy]

Ну не скажите, я работала с таблицами, в которые каждый день добавлялось более миллиарда записей.

В каждую таблицу по миллиарду записей? Чисто из спортивного любопытства, сколько дней в ней хранились данные?
У меня индус из яхоо, так говорил что в его кассандру каждый день пишется по террабайту, на вопрос а что случается дальше с данными, как то подзавис.

Мы писали в Орацле, несколько лет, по закону сколько положерно для отчетности.

1,000,000,000 записей в день х 365 дней х 5 лет, если даже только 100 байтов на запись, без индексов (хотя непонятно, как в таком случае вытаскивать данные), это 169ТБ в одной таблице. Признайтесь, соврали для красного словца?

[Likenew]

Ну не скажите, я работала с таблицами, в которые каждый день добавлялось более миллиарда записей.

В каждую таблицу по миллиарду записей? Чисто из спортивного любопытства, сколько дней в ней хранились данные?
У меня индус из яхоо, так говорил что в его кассандру каждый день пишется по террабайту, на вопрос а что случается дальше с данными, как то подзавис.

Мы писали в Орацле, несколько лет, по закону сколько положерно для отчетности.

1,000,000,000 записей в день х 365 дней х 5 лет, если даже только 100 байтов на запись, без индексов (хотя непонятно, как в таком случае вытаскивать данные), это 169ТБ в одной таблице. Признайтесь, соврали для красного словца?

Нет . Мы пишем, Правда, не каждый день, а когда торги на бирже. Ну не все таблицы большие, а вот с квотами, история торгов, очень большие таблицы, меньше миллиарда тока если короткий день на бирже. Там сложная организация, в кластерах да в партитионах. Не вру. У нас индексы, хинты всякие, очень помогали в жизни.
И в тхе таблицах в общем всехда боле 100 колонок

[АццкоМото]

Дело не бэкап, у МонгиДВ нет транзакций (во всяком случае не было раньше), поэтому невозможно откатить повреждения, если что.
Т.е. если она упадет, то какие-то данные будут действительно потеряны.
Это далеко не всегда приемлемо.

Есть, только чуть с большим синтаксом и "ручной" работой.

Данные теряются. "Запись" в базу на самом деле не записывает сразу. Если липистричество выкл, то данные накрываются медным тазом. Туда им и дорога.

Google: MongoDB Write Concerns

[Easbayguy]

Если проблема с деньгами, то вместо Оракла надо ставить бесплатный MySQL с движком InnoDB. Все прекрасно работает.

Еслиб он еще так часто не падал.

[Easbayguy]

Если проблема с деньгами, то вместо Оракла надо ставить бесплатный MySQL с движком InnoDB. Все прекрасно работает.

Еслиб он еще так часто не падал.

4 года полет нормальный

Нагружаете плохо!

[АццкоМото]

Монго с "enabled journal" ползает как беременная вошь по мокрому полотенцу.

Всегда веселила такая эластичность сознания. Вот теряются данные и все тут. И через 5 минут - ну ок, можно и не терять, но медленно. Показать вам, как сделать быстро, так вы и тут найдете, к чему прикопаться. С другой стороны, ценность ваших слов уже видна.

[Easbayguy]

Если проблема с деньгами, то вместо Оракла надо ставить бесплатный MySQL с движком InnoDB. Все прекрасно работает.

Еслиб он еще так часто не падал.

4 года полет нормальный

Нагружаете плохо!

2000 тысячи пользователей одновременно. Я сам в .."очень удивился".

Это два миллиона?

[АццкоМото]

Данные теряются даже при "enabled journal".

Там лажа написана. Такой же специалист, как и вы писал

A по поводу эластичности сознания : Так и вы признались, что сиквел не знаете, не царское это дело. Для вас ондроед, это ваше "фсе". И вообше все можно написать на гуглосервисах.

так я нигде и не писал, что я спец по нему, так что никакой эластичности. но базу знаю, оно есть и в ондроеде. а студентом знал и детали, надо - восстановлю. так что пук куда-то в пустоту

[stenking]

Извините, косяк упорол. Две тысячи пользователей.

Это ерундятина. На моих проектах и до 20К доходило. При таких нагрузках что монга что галера - один фиг.

[АццкоМото]

А вам пальцы растопыренные не мешают в дверь заходит, "full stack" developer вы наш высокого уровня ?

да поумерьте уже фантазию. то вам мерещится, что я хвастал крутым знанием сиквела, то что я признался в его незнании, теперь уже и фуллстек якобы вылез. ищите пруф или балабол

тем не менее, я хоть понимаю, о чем говорю, а вы - нет. разумеется, если бездумно срать потоком в единственный инстанс монго с журналированием и вырубить свет, поток захлебнется и данные потеряются. беда в том, что то же самое относится к любой дазе банных. как можно этого не понимать - загадка. клиент обязан хранить данные до акноледжмента. и при правильной репликации он придет всегда, даже если несколько инстансов вырубилось. 101 просто

[stenking]

Я думаю что просто мало кто реально понимает насколько изменились технологии за последние 5 лет. Облачные бекенды, всякие "неограниченные" базы, серваки с 64 корами и четвертью терабайта рема всё это очень сильно изменило понятия нагрузок.

Оракл и всякие взрослые штуковины нужны когда дневные записи это сотни миллионов. А для того что бы сделать игрушку которая пингает в API для 10К юзеров онлайн про сервера и базы ничего знать не нужно.

[adda_]

Если проблема с деньгами, то вместо Оракла надо ставить бесплатный MySQL с движком InnoDB. Все прекрасно работает.

Еслиб он еще так часто не падал.

Ну тогда возьмите Interbase который бесплатный под названием Firebird. Прекрасно работает и не падает. Работает и под виндами и под линкусом.

[NYgal]

Я думаю что просто мало кто реально понимает насколько изменились технологии за последние 5 лет. Облачные бекенды, всякие "неограниченные" базы, серваки с 64 корами и четвертью терабайта рема всё это очень сильно изменило понятия нагрузок.

Оракл и всякие взрослые штуковины нужны когда дневные записи это сотни миллионов. А для того что бы сделать игрушку которая пингает в API для 10К юзеров онлайн про сервера и базы ничего знать не нужно.

Стенкин, ну хорошо, все непонимают.
Ну вот кто может посоветовать хороший приличный БИ тул, чтобы не надо было раскорячиваться с Монго, с кодированием, а так, чтобы сразу
Несколькими кликами слайсать и суммировать, что хочешь?
Может, я и правда динозавр, но слежу внимательно за рынком би,
Умею и на машинке и на большинстве из верхнего левого гарднеровского верхнего левого квадрата ( типа -лидеры).
Когда я вижу, как пытаются проэмулировать мою схему dwh, который я построила на оракле в монгодб, чтобы оно работало, скажем, с таблю, я рыдаю от смеха.
Может, ручки у них кривые? Может, я чего-то не знаю?
База игрушечная пока, меньше 10м записей в каждой из факт таблиц. Это я залила. А у них в монго и того нет.
А сточки зрения ... Да всего, и скорость, и простота прстроения- какие нафик пару кликов? Это у меня была пара кликов с датасорс оракл. А тут - пресловутый секс стоя в гамаке - просто нефик делать по сравнению.

[Easbayguy]

Может, ручки у них кривые? Может, я чего-то не знаю?
База игрушечная пока, меньше 10м записей в каждой из факт таблиц. Это я залила. А у них в монго и того нет.
А сточки зрения ... Да всего, и скорость, и простота прстроения- какие нафик пару кликов? Это у меня была пара кликов с датасорс оракл. А тут - пресловутый секс стоя в гамаке - просто нефик делать по сравнению.

Зато решается проблема занятости и денег.