BigData говорите? Нет, CSV over FTP форева!

[Dmitry67]

https://m.habrahabr.ru/company/yamoney/blog/329926/

Такой файл каждый банк-эквайер ежедневно получает от Mastercard каждый раз в одно и то же время по согласованию и далее его разбирает. Так вот, после экспериментов файл с обычным размером 20 МБ увеличился в 5 раз и стал весить 104 МБ. На отработку такого списка потребовалось больше ресурсов, то есть пришлось переписать отдельные модули микросервисов, которые обрабатывали файл блокировок.

...

В ходе отдельного эксперимента мы оценили производительность обработки списаний. За сутки провели тесты с интенсивностью 15 блокировок в секунду и последующим потоком списаний. Файл со списаниям пришел к нам в 18:00 следующего дня с задержкой в 1,5 часа, и наш процессинг обработал все 1 135 000 записей за 2 часа 10 минут. Для контраста, обычный разбор среднестатистического списка блокировок занимает десяток минут.

...

Разбирался файл блокировок предыдущего дня объемом 3,1 ГБ.
Две эти операции нагрузили процессинг по полной в рамках существующих лицензионных ограничений 20 RpS

[Dmitry67]

P.S.
Пиковые скорости в 20Rps (они там что, курсором в цикле по записям идут?) и ограничение на ращзмер файлов в Оракл вообще как то шокирует

[iDesperado]

P.S.
Пиковые скорости в 20Rps (они там что, курсором в цикле по записям идут?) и ограничение на ращзмер файлов в Оракл вообще как то шокирует

я понял, что речь об ограничении fat32. у нас файлики и по 60 гб приходят в оракл и подхватываются как external table

[DVK]

Они там на МФ в МС по-другому не умеют.

[oshibka_residenta]

P.S.
Пиковые скорости в 20Rps (они там что, курсором в цикле по записям идут?) и ограничение на ращзмер файлов в Оракл вообще как то шокирует

Вроде они пишут , что 20 rps ограничено лицензией на шифрование. Скорее всего они должны использовать HSM и ограничение - лицензия на HSM. Это реально тупо, но такие правила.