MongoDB to ORACLE syncronization - по-моему чистый кошмар.

[NYgal]

Среда .... специфическая. Уровень профессиональный ... разный. Поетому рождаются такие монстрообразные архитектурные построения.
Я не знаю кому и почему пришла в голову такая светлая мысль, но данные приложение собирает в MongoDB, почему-то ORACLE должен быть синхронизирован, короче, мрак.

Про причины не хочется углубляться, вопрос : ето вообсче doable нормальным способом?
Я что-то нормального ничего не накопала.
Просто хочется быть действительно reasonable и видеть другие варианты перед тем как завтра на митинге буду разносить ето по кочкам и предлагать нормальное свое решение.

[Dmitry67]

Оракл из монго берет небольшую ЧАСТЬ данных?
Потому что иначе RDBMS по определению не угонится за big data.

[fruit6]

Нормально, сейчас остальные старички подтянутся, будете вместе хаять новомодные технологии

[nightmare2]

...
Я не знаю кому и почему пришла в голову такая светлая мысль, но данные приложение собирает в MongoDB, почему-то ORACLE должен быть синхронизирован, короче, мрак....

А что такого?
Монга собирает все сырые данные, а в оракл уже поступает какая-то полезная, отфильтрованная, их часть для дальнейшего использования.
Интересная задача, ИМХО.

[nightmare2]

Нормально, сейчас остальные старички подтянутся, будете вместе хаять новомодные технологии

Не дождётесь!

[NYgal]

Там об этом беспокоиться нечего. Данных на там -копейки. Почему решили использовать монго - это данность, решение политическое и вне моего влияния, я не хочу связываться

[NYgal]

...
Я не знаю кому и почему пришла в голову такая светлая мысль, но данные приложение собирает в MongoDB, почему-то ORACLE должен быть синхронизирован, короче, мрак....

А что такого?
Монга собирает все сырые данные, а в оракл уже поступает какая-то полезная, отфильтрованная, их часть для дальнейшего использования.
Интересная задача, ИМХО.

Да, где-то так.
Я, по идее, должна была впрыгнуть на стадии bi, но там сейчас надо разобрать старые завалы из хранимых процедур на индийском диалекте sql

Связка между монго и ораклом должна быть real-time,
Кроме как читать json из оракла постоянно через месседжинг...
Плюс в том, что это контроль на стороне оракла и на это просто будет посадить bi.
Но может быть есть что-то поновее?
Я посмотрела монго dbpump, но я так и не поняла, где там real time.

[Marie Clair]

MongoDB support отвечает моментально, напишите им email.

[zgur]

Надо к этому спарк прикрутить в качестве ETL Tool! А он (спарк) и всю hadoop екосистему за собой потащит. Так что все модные технологии изучите - ну и что что долго и разлаписто.

[Palych]

Монга собирает все сырые данные, а в оракл уже поступает какая-то полезная, отфильтрованная, их часть для дальнейшего использования.
Интересная задача, ИМХО.

Да, где-то так.

То есть Oracle используется как кеш?
Может проще избавиться от Oracle?...

[NYgal]

Монга собирает все сырые данные, а в оракл уже поступает какая-то полезная, отфильтрованная, их часть для дальнейшего использования.
Интересная задача, ИМХО.

Да, где-то так.

То есть Oracle используется как кеш?
Может проще избавиться от Oracle?...

Часть данных в oracle

[zgur]

Если серьёзно, то простое решение это ETL машина с perl или python + одна из open-source ETL библиотек.

Можно и более экзотические решения рассмотреть Oracle DB <- ORacle gateway for ODBC <- ODBC driver for Mongo (Simba) <- mongo . Tак у вас будет dblink к mongo

[Marie Clair]

Интересная задача, ИМХО.

Ага, много use cases в голову приходит.

[NYgal]

Если серьёзно, то простое решение это ETL машина с perl или python + одна из open-source ETL библиотек.

Можно и более экзотические решения рассмотреть Oracle DB <- ORacle gateway for ODBC <- ODBC driver for Mongo (Simba) <- mongo . Tак у вас будет dblink к mongo

Я сегодня поигралась с tMongoDBconnection в Talend, просто в голову пришло попробовать, на первый взгляд все довольно просто.

[Palych]

А как эти ETL в принципе работают?
По идее "ведущая" база должна отслеживать изменения в какой-то части данных, складывать их в лог, а потом передавать его в "ведомой" базе через какие-нибудь скрипты...
Однако у нас например ребята с этим не заморачиваются, говорят "Вы нам таблицу дайте, а мы наваляем скрипт, который будет ее типа синхронизировать" И придумывают на ходу как отслеживать уже переданные данные, и проч.
Есть ли например в Mongo средства отброса изменений в логи, доступные извне?