Migrate data from mySql to Mongo

[Сабина]

Чем лучше пользоваться?
Вот нагуглилось, но хочется советы аксакалов
http://java.dzone.com/articles/how-migr ... ql-mongodb" onclick="window.open(this.href);return false;

[mskmel]

>we accomplished the migration from plan to production in a week
Дальше можно не читать. Студенты за "ночь" переколбасили "high data insert rate and scale data analysis" на новую платформу, удачи!

[Сабина]

>we accomplished the migration from plan to production in a week
Дальше можно не читать. Студенты за "ночь" переколбасили "high data insert rate and scale data analysis" на новую платформу, удачи!

Как то вы эмоционально . Ну хорошо допустим они студенты и продукт фиговый, ну а вы чем например делали по уму ?
Я в прошлом переносила данные с одной базы в другую, причем rdbms to rdbms, не сказала бы что неделя это опупенно быстро, особенно если речь не о гигантским масштабах данных

[helg]

База базе рознь.

Большая схема? У нас пара рабочих таблиц с паровозиком reftables - или схема, которую только на плоттере, да ещё и не на одном листе?

Как пользуем? Там всё одной архитектуры или культурные слои? Лезем напрямую в базу или есть какой уровень абстракции?

Сколько стоит downtime - в человекочасах программиста? Клиент долго проживёт, если при Big Bang методе у него база будет нерабочей пока кумары не выпрямят свою харлалщину, - или надо чтобы круглосуточный поток на десятки транзакций в секунду незаметно для потребителей потёк в другую базу?

Уравнение в самом общем виде? Легко! ... Левая сторона равна правой.

[mskmel]

Как то вы эмоционально . Ну хорошо допустим они студенты и продукт фиговый, ну а вы чем например делали по уму ?
Я в прошлом переносила данные с одной базы в другую, причем rdbms to rdbms, не сказала бы что неделя это опупенно быстро, особенно если речь не о гигантским масштабах данных

При чем продукт? Есть SDLC, не представляю как в неделю их все можно втиснуть. "Технологию разработки программного обеспечения" преподают на 2м курсе российского университета.

Технически сложно делать перенос действительно чего-то нагруженного (сотни ГБ журнала транзакций в час) и относительно большого при non-stop для приложения. Остановить всех, переписать базульку в новое место за downtime, переключить приложения - это простая и понятная задачка.

[ekriv]

Чем лучше пользоваться?
Вот нагуглилось, но хочется советы аксакалов
http://java.dzone.com/articles/how-migr ... ql-mongodb" onclick="window.open(this.href);return false;

А процедуры, триггеры, фунции есть в исходной базе?
Есть еще разные индексы.
А готов ли софт, который будет работать с совершенно другой структурой данных?
У нас, например, переход с Оракла на Постгрес занял год при базе с парой сотен таблиц.
Так это был переход с SQL to SQL, а тут переход SQL to noSQL

[Мальчик-Одуванчик]

при наличии триггеров это будет точно хихи-хаха

[ekriv]

при наличии триггеров это будет точно хихи-хаха

Я вообще считаю, что термин "миграция" для перехода с SQL на noSQL, вообще некорректен.

[Сабина]

при наличии триггеров это будет точно хихи-хаха

Я вообще считаю, что термин "миграция" для перехода с SQL на noSQL, вообще некорректен.

Да, я тоже поняла что он не прост некорректен. а никто из присуствующих ни разу в жизни не имел дела

[stenking]

Мигрировать ненужно. Т.е. нужно и модели переделывать и вообще всё нафик ломается но самое главное что mysql имеет упорядоченную дату а монга используется для беспорядков. Это разные вещи для разных нужд. Т.е. хранить таблицу user_company { user_id, company_id } в монго это идиотизм а в mysql самое оно

Или например mysql транзакционная а монга нет. Т.е. при работе с деньгами нельзя снять денег с одного счёта и добавить во второй за одну атомарную операцию. Да и просто центы держать нужно в отдельном поле потому что монга она такая монга и может спокойно добавить какой-то 8-й знак в флоате. Ну и таких аспектов, от репликации и шардинга до самой скимы миллион и два.

Т.е. нужно понимать что это разные вещи для разных вещей.

[Easbayguy]

Прикольно, что на самом деле есть компании где можно все переписать за неделю из одного движка в другой и там реально платят деньги?

[stenking]

Прикольно, что на самом деле есть компании где можно все переписать за неделю из одного движка в другой и там реально платят деньги?

Ну теоретически если ORM поддерживает 2 базы и перенос это просто тупой mapping таблиц в таблицы, ну там 10-к кастом квирей ещё залатать то почему бы и и нет. Для эппа с базой в 200К записей в 20 таблицах. Какая там разница, какая база, Oracle, MySQL, MS SQL

[Easbayguy]

Прикольно, что на самом деле есть компании где можно все переписать за неделю из одного движка в другой и там реально платят деньги?

Ну теоретически если ORM поддерживает 2 базы и перенос это просто тупой mapping таблиц в таблицы, ну там 10-к кастом квирей ещё залатать то почему бы и и нет. Для эппа с базой в 200К записей в 20 таблицах. Какая там разница, какая база, Oracle, MySQL, MS SQL

И там реально требуется Sabina?

[Сабина]

При чём тут кто требуется ? Вопрос был именно о переносе самих данных, не учитывая переписывание кода и проч, понятно что все вместе за неделю - это сильно амбициозно.

[Сабина]

Меня еще вчера удивил стейтмент что пока мы храним месяц данных на MySQL в клауде and its ok ( там как раз Percona cluster). А вот если придется хранить 24 месяца то база в облаке уже не пойдет, надо будет ставить физические диски и репликацию on premises. Как то меня удивил этот момент, не согласуется с моим представлением о масштабировании MySQL и НА. Ну да сеть, медленнее, но Твилио же делает это в AWS , почему компании у которой гораздо меньше данных и трафика нужно on premises а иначе никак ?

[Сабина]

Миграция отменятся, не нужна она .
Оказывается все проблемы в одной единственной таблице в которой миллионы записей и она стремительно растет. В то время как во всей базе от силы десять таблиц и в них по паре тысяч рекордов.
В этой таблице данные по типу timeseries.
Думаю достоточно будет ввести range partition по datetime и не парится.

Правда еще не очень понятно насчет disk io. Кластеры в Percona есть, но как они решают проблему если disk io не тянет.

[_reality]

Из MySql в Mongo? drop database <db-name> - быстрее всего, результат один и тот же в итоге будет

[Сабина]

Из MySql в Mongo? drop database <db-name> - быстрее всего, результат один и тот же в итоге будет

спасибо успокоил
PS. на самом деле я так и думала