Кто гоняет Spark?

[Sergunka]

Расскажите, что за задачи гоняете и в чем так сказать прелесть в отличии от того же Хадупа?

У нас на проекте похоже предстоит внедреж хочу понять где узкие места.

[metaller]

Мы тоже гоняем Hadoop/Hive, облизываемся на Spark SQL. Пока нифига не ясно будет оно жить или как.

[Dweller]

На алгоритмах где данные влазят в память все летает раз в 100 быстрее на спарке чем в мапредюсе
Я беру hi4large in AWS, spot instances, там 64Г на 16 thread, классно и дешево

[Сабина]

Расскажите, что за задачи гоняете и в чем так сказать прелесть в отличии от того же Хадупа?

У нас на проекте похоже предстоит внедреж хочу понять где узкие места.

Сергунька, вот отличный ресурс - Developer track from Spark Summit. Там есть сессии всего на несколько часов после которых многое проясняется с практической точки зрения
http://livestream.com/fourstream/sparksummit2015-tracka" onclick="window.open(this.href);return false;

Еще у нас тут митап в городе с Матеем и Databricks - лучше ресурса и не придумать
http://www.meetup.com/spark-users/" onclick="window.open(this.href);return false;

[Sergunka]

На алгоритмах где данные влазят в память все летает раз в 100 быстрее на спарке чем в мапредюсе
Я беру hi4large in AWS, spot instances, там 64Г на 16 thread, классно и дешево

А как там вообще считается влезет в память или нет?

[metaller]

А как там вообще считается влезет в память или нет?

Spark не упадёт, если в память не влезет, просто будет медленее работать. Но всё равно быстрее, чем MapReduce.

[Sergunka]

А как там вообще считается влезет в память или нет?

Spark не упадёт, если в память не влезет, просто будет медленее работать. Но всё равно быстрее, чем MapReduce.

Ага понял там есть такая опция при настройках.

[Сабина]

У нас сегодня было продакшен ишью на спарке, все встало. Root cause интересный оказался, в общем то задача для девопс (кмк)

[Sergunka]

Посмотрел как запускать на кластере - что народ скажет - кто какой опцией пользуется?

1) Amazon EC2: our EC2 scripts let you launch a cluster in about 5 minutes
2) Standalone Deploy Mode: simplest way to deploy Spark on a private cluster
3) Apache Mesos
4) Hadoop YARN

Я как-то за 2 опцию, но может есть огромные преимущества от других?

[Сабина]

Сергунька,

Думаю Спарк тут никто особо не гоняет

[Ofreema]

Вот же ж интересно. Спарк никто особо не гоняет, а какие позиции не посмотришь - многие хотят Спарк. Как же так?

На edx был курс Apache Spark.

Ну и еще докину https://spark.apache.org/documentation.html" onclick="window.open(this.href);return false;

[metaller]

Посмотрел как запускать на кластере - что народ скажет - кто какой опцией пользуется?

1) Amazon EC2: our EC2 scripts let you launch a cluster in about 5 minutes
2) Standalone Deploy Mode: simplest way to deploy Spark on a private cluster
3) Apache Mesos
4) Hadoop YARN

Я как-то за 2 опцию, но может есть огромные преимущества от других?

Есть ещё опция арендовать кластер у databricks.com

[Сабина]

Завтра спарковсуий митап хороший в городе от Датабрик - spark и spark streaning в Uber-е. Так обидно, придется пропустить

[solopipi]

А что вы считаете на Спарке, кроме подсчета слов в предложении?

[_reality]

Мы гоняем на Ярне потому что у нас уже есть большой Халуп кластер уже. Очень доволен Очень круто что есть dynamic allocation который пока еще нигде кроме ярна нету

[metaller]

Завтра спарковсуий митап хороший в городе от Датабрик - spark и spark streaning в Uber-е. Так обидно, придется пропустить

В каком городе-то ?

[metaller]

Мы гоняем на Ярне потому что у нас уже есть большой Халуп кластер уже. Очень доволен Очень круто что есть dynamic allocation который пока еще нигде кроме ярна нету

Кстати мне тут коллеги из соседнего проекта жаловались, что в Спарке если уж запустил джоб, то его нельзя остановить/убить. Ну разве что кластер перестартовать Это уже пофиксили ?

[_reality]

Кстати мне тут коллеги из соседнего проекта жаловались, что в Спарке если уж запустил джоб, то его нельзя остановить/убить. Ну разве что кластер перестартовать Это уже пофиксили ?

Не, нельзя, но я не жалуюсь мне пока не приходилось сталкиваться с тем чтобы джобу надо было останавливать если она запущена. Насколько я знаю это фича вообще пока даже ни кем и разрабатывается потому что похоже никому не нужна если очень хочется вырубать таски то мне кажется https://github.com/spark-jobserver/spark-jobserver" onclick="window.open(this.href);return false; должен решить проблему

[metaller]

Кстати мне тут коллеги из соседнего проекта жаловались, что в Спарке если уж запустил джоб, то его нельзя остановить/убить. Ну разве что кластер перестартовать Это уже пофиксили ?

Не, нельзя, но я не жалуюсь мне пока не приходилось сталкиваться с тем чтобы джобу надо было останавливать если она запущена. Насколько я знаю это фича вообще пока даже ни кем и разрабатывается потому что похоже никому не нужна если очень хочется вырубать таски то мне кажется https://github.com/spark-jobserver/spark-jobserver" onclick="window.open(this.href);return false; должен решить проблему

Спасибо, посмотрю. Вообще хотелось бы иметь контроль над ситуацией

[metaller]

<поскипано>

А вот ещё подскажите, уважаемый, можно ли в Spark SQL обойтись без Hive metastore в случае если таблички лежат на HDFS в Parquet ? Насколько я знаю Parquet файлы содержат в себе метаинформацию. Спрашиваю потому, что мы сейчас используем Hive и очень часто валится Hive metastore. При переходе на Spark SQL хотелось бы избежать использования Hive metastore.

[_reality]

Спасибо, посмотрю. Вообще хотелось бы иметь контроль над ситуацией

Да в том то и дело что таких ситуаций почти не бывает, нужно перелопатить кучу данных, запускаешь и лопатишь, зачем останавливать то посередине работы ну точнее наверное есть какие то юзкейсы но я пока не сталкивался. В общем это точно не то что должно останавливать от использования спарка.

К тому же в случае Ярна, если я в середине большой таски я понимаю что она мне больше не нужна, то да, я вырубаю кластер. Но это как раз таки то для чего Ярн/Месос и нужен. У нас каждое приложение создает в Ярне себе спарк кластер нужного размера и нужной версии. Некоторые приложения работают 24/7, а некоторые стартанули, посчитали что то, и выключили кластер-освободили ресурсы.

[_reality]

<поскипано>

А вот ещё подскажите, уважаемый, можно ли в Spark SQL обойтись без Hive metastore в случае если таблички лежат на HDFS в Parquet ? Насколько я знаю Parquet файлы содержат в себе метаинформацию. Спрашиваю потому, что мы сейчас используем Hive и очень часто валится Hive metastore. При переходе на Spark SQL хотелось бы избежать использования Hive metastore.

Да можно. У нас сейчас Hive несовместим с Spark 1.5.0 по этому вся работа с хайв таблицами идет мимо метастора как с простыми паркет файлами. То есть если нужно просто читать и не надо делать новые партишены то вообще никаких проблем.

Спарк сам находит партишены и схему грузит. Короче вообще все гладко.

[_reality]

Но возможно Спарк все равно нужно собрать с поддержкой Хайва, это может быть проблема конкретно нашей версии клаудеры или еще чего, но даже если я не работаю с хайвом а просто делаю DataFrame из паркета если спарк собран без хайва то все падает. В общем в нем есть сюрпризы, но в целом все ок.

[metaller]

У нас каждое приложение создает в Ярне себе спарк кластер нужного размера и нужной версии. Некоторые приложения работают 24/7, а некоторые стартанули, посчитали что то, и выключили кластер-освободили ресурсы.

Хм, ну у нас нужно просто чтобы в любой момент приложение могло подконнектится по JDBC и выдать SQL query на выполнение. Иметь несколько кластеров или стартовать/останавливать нам вроде не надо ...

[Easbayguy]

Интересно, что будет востребованно через года 2-3 с точки зрения архитектора/администратора?