Со спарком и reads я вроде бы разобралась . Сегодня сдала под ключ первый проект - Kudu Kafka source ( то бишь Кафка продьюсер, вычитывающий из Куду) . Spark 2.2, Kafka 0.11, Scala 2.11, Kudu client 1.6.0. Все бегает на Клаудеровском кластере.iDesperado wrote: ↑28 Dec 2017 10:12тут нечего сказать, у меня на реальный кластер лимитированный доступ. зато слышал что наши спарк-куду именно через dataset от spark 2.0 ковыряют. но пока прототипы.
Фигачить 8 миллионов avro мессаджей в Кафку за 5 минут в dev. environment. Есть еще варианты ускорять, но дизайн просют этому неспособствующий.
Но он делает Kudu reads. А вот с writes там жо... какая то. Точнее непонятно с writes или с кодом который другие писали . Потому и хочется мониторинг нормальный