Кто гоняет Spark?

[_reality]

Реактивные Микросервисные БигДата Контейнеры с ДипЛернингом внутри

[mskmel]

Интересно, что будет востребованно через года 2-3 с точки зрения архитектора/администратора?

В плане хранения данных сейчас назревает очередная революция, не понятно как она поменяет текущие архитектуры обработки данных.

http://www.theregister.co.uk/2015/08/18 ... ash_magic/" onclick="window.open(this.href);return false;
"This kind of system, if it is affordable – and the existence of 3D TLC NAND suggests it could be – would alter Big Data analytics. You would no longer need dozens of Hadoop nodes, each analysing its own local data. Instead, you would have a single big badass flash resource "

Еще:
http://www.theregister.co.uk/2015/09/07 ... mat_wrong/" onclick="window.open(this.href);return false;
http://newsroom.intel.com/community/int ... technology" onclick="window.open(this.href);return false;

[Сабина]

Завтра спарковсуий митап хороший в городе от Датабрик - spark и spark streaning в Uber-е. Так обидно, придется пропустить

В каком городе-то ?

SF, Датабриксы то здешние же .
Обещают видео выложить на ютьюб, дам знать как будет линк

[Сабина]

А что вы считаете на Спарке, кроме подсчета слов в предложении?

Процессим интенсивные потоки данных от соушал медиа

[Сабина]

Реактивные Микросервисные БигДата Контейнеры с ДипЛернингом внутри

Вот и я эксу говорю бросать уже эти сети классические и подаваться в контейнероводы с его глубокими многолетними познаниями юникса

[Sergunka]

Ребята, спасибо, за советы.

У меня еще вопрос у нас по сценарию нужно обработать несколько десятков тысяч мелких текстовых файлов размером по несколько сотен линий. На каком кластере эту музыку лучше гонять? Мне вообще кажется особо без разницы лишь бы все в память влезло.

[Sergunka]

Прямо лыко в строку наша контора разродилась гигантским ВПЕРДЕ!

http://www.forbes.com/sites/theopriestl ... dominance/" onclick="window.open(this.href);return false;

“We’re taking a lesson from the consumer side of the internet — the Googles, Facebooks and the Amazons,” said Ruh. “These businesses figured out how to manage large volumes of information and utilize it to provide new kinds of services.”

[Сабина]

Сергунька инджой

https://www.youtube.com/watch?v=zKbds9ZPjLE" onclick="window.open(this.href);return false;
http://www.slideshare.net/databricks/sp ... up-at-uber" onclick="window.open(this.href);return false;