Spark Structured Streaming

[Сабина]

Есть тут кто из пользователей библиотеки ? Конкретно интеграция с Кафкой интересна - file sinks etc. Конкретных технических вопросов нет, чисто поболтать . Интересную штуку на работе имплементировала, а обсудить не с кем. Кроме коллег, но там уже все что можно обсудили и угол немного другой

Что конкретно интересно ?

-Какой режим используете batch or stream?
-Куда это все деплоиться ? Если в облако то в какое?
-Какие размеры данных и какой кластер под это пользуете ? Есть ли autoscaling?
-Если работаете со streaming, какое processing time window, как подбирали.
- смотрели ли вы на другие techstacks для решения той же самой задачи

Могу рассказать все симметрично про то как у нас

[iDesperado]

сюда всего 5 человек заходят, причем выглядит что самому младшему далеко за 50. мне интересно кого из них вы заподозрили в связях со стримингом

зы. у нас на хадупе spark только батчи жует. строит data lake, прогоняет скоринги. jpmml либу в связке со spark, через mapPartitions() дергаем.
зыы. вспомнил, есть у нас джобы которые пишут спарком в кафку avro меседжи. причем пишут с участием confluent либы, котораяуказывает схему где-то в их Confluent Schema Registry

[Сабина]

сюда всего 5 человек заходят, причем выглядит что самому младшему далеко за 50. мне интересно кого из них вы заподозрили в связях со стримингом

зы. у нас на хадупе spark только батчи жует. строит data lake, прогоняет скоринги. jpmml либу в связке со spark, через mapPartitions() дергаем.
зыы. вспомнил, есть у нас джобы которые пишут спарком в кафку avro меседжи. причем пишут с участием confluent либы, котораяуказывает схему где-то в их Confluent Schema Registry

А что те кто за 50 не уважают стриминг ?
Ну спасибо что предупредили, тогда пусть тема повисит в надежде что кто то из любителей стриминга тоже забредёт