Apache Kudu

Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: Apache Kudu

Post by Сабина »

iDesperado wrote: 28 Dec 2017 10:12
Сабина wrote: 27 Dec 2017 01:24
Вам такой же вопрос про мониторинг ( см выше), почему то не могу ничего найти, хотя бы explain plan посмотреть. Impalad эти квери «не видит» почему то
тут нечего сказать, у меня на реальный кластер лимитированный доступ. зато слышал что наши спарк-куду именно через dataset от spark 2.0 ковыряют. но пока прототипы.
Со спарком и reads я вроде бы разобралась :). Сегодня сдала под ключ первый проект - Kudu Kafka source ( то бишь Кафка продьюсер, вычитывающий из Куду) . Spark 2.2, Kafka 0.11, Scala 2.11, Kudu client 1.6.0. Все бегает на Клаудеровском кластере.
Фигачить 8 миллионов avro мессаджей в Кафку за 5 минут в dev. environment. Есть еще варианты ускорять, но дизайн просют этому неспособствующий.
Но он делает Kudu reads. А вот с writes там жо... какая то. Точнее непонятно с writes или с кодом который другие писали :D . Потому и хочется мониторинг нормальный
https://www.youtube.com/watch?v=wOwblaKmyVw

Return to “Вопросы и новости IT”