Hadoop developers

[Сабина]

Не расскажете насколько пользуется спросом эта категория ?
Каков шанс быть нанятым:
- с хорошим Java background и классом по Hadoop (но workign experience)?
- все то же самое что в первой опции плюс цертификация от Клаудеры - http://cloudera.com/content/cloudera/en ... /ccdh.html ?

Или разница в шансах быть нанятым (1) versus (2) ?

PS. Если есть AWS account но в нем никто никогда ничего не делал сколько занимает to setup lab environment for Hadoop class

[Dweller]

а в чем проблема дома установить весь этот хадуп? его можно и на одной машине вполне гонять, если хочется больше можно наделать VMs
hadoop/hive/pig/UDFs можно вполне освоить таким образом, месяц-два может уйти

[Flash-04]

на одной машине как бы не прочуствуешь...

[Dweller]

на одной машине как бы не прочуствуешь...

лучше чем ничего или просто книжицы читать

[Сабина]

а в чем проблема дома установить весь этот хадуп? его можно и на одной машине вполне гонять, если хочется больше можно наделать VMs
hadoop/hive/pig/UDFs можно вполне освоить таким образом, месяц-два может уйти

Хочется заодно набить руку с AWS
Там две опции для класса - можно локально , можно в AWS. Подумала заодно и с AWС подучится работать. Вопрос насколько это будет тормозить, успею ли до начала

[John Smith]

сертификация от клаудеры - ерунда, у нас некоторые менеджеры среднего звена ее имеют
при этом я уверен - ничего они на хадупе, да и просто на джаве сделать не смогут
реально поможет практика

[Сабина]

сертификация от клаудеры - ерунда, у нас некоторые менеджеры среднего звена ее имеют
при этом я уверен - ничего они на хадупе, да и просто на джаве сделать не смогут
реально поможет практика

Так у них девелоперская сертификация есть. Что тоже ерунда ?

[John Smith]

да, Cloudera Certified Hadoop Developer (CCHD) - это у него в профайле написано
а также скрам мастер

[Сабина]

да, Cloudera Certified Hadoop Developer (CCHD) - это у него в профайле написано
а также скрам мастер

Странно там такие вопросы что слабо верится что человек неумеюший ничего делать ни на хадупе ни на Джаве может ответить with passing score ?

[Zorkus]

на одной машине как бы не прочуствуешь...

На одной машине можно гонять либо миникластер (in-process), либо pseudo-distributed. Есть есть гигов 16 памяти можно гонять 2-3 виртуалки и это уже можно сказать настоящий кластер.

Если не стоит задача заниматься администрированием хадупа или разрабатывать сам хадуп, то вполне можно.

[Сабина]

на одной машине как бы не прочуствуешь...

На одной машине можно гонять либо миникластер (in-process), либо pseudo-distributed. Есть есть гигов 16 памяти можно гонять 2-3 виртуалки и это уже можно сказать настоящий кластер.

Если не стоит задача заниматься администрированием хадупа или разрабатывать сам хадуп, то вполне можно.

Ты ж в курсе наверное про сертификаты? Что и правда фигня ?

[Zorkus]

да, Cloudera Certified Hadoop Developer (CCHD) - это у него в профайле написано
а также скрам мастер

Странно там такие вопросы что слабо верится что человек неумеюший ничего делать ни на хадупе ни на Джаве может ответить with passing score ?

Имхо, хадуп это не так сфера, где сертификаты что-то значат. Эти сертификаты - источник доходов для клаудеры, по большому счету.

[Zorkus]

на одной машине как бы не прочуствуешь...

На одной машине можно гонять либо миникластер (in-process), либо pseudo-distributed. Есть есть гигов 16 памяти можно гонять 2-3 виртуалки и это уже можно сказать настоящий кластер.

Если не стоит задача заниматься администрированием хадупа или разрабатывать сам хадуп, то вполне можно.

Ты ж в курсе наверное про сертификаты? Что и правда фигня ?

В курсе. Меня как-то один чувак с сертификатом хадуп администратора убеждал, что в хадупе однажды запущенный MR job нельзя заканселить, а можно только ждать пока он завершится

[Zorkus]

а в чем проблема дома установить весь этот хадуп? его можно и на одной машине вполне гонять, если хочется больше можно наделать VMs
hadoop/hive/pig/UDFs можно вполне освоить таким образом, месяц-два может уйти

Хочется заодно набить руку с AWS
Там две опции для класса - можно локально , можно в AWS. Подумала заодно и с AWС подучится работать. Вопрос насколько это будет тормозить, успею ли до начала

Лично я бы не стал наверное брать именно AWS чтобы поиграться с хадупом. Я развертывал как-то виртуалки в Digital Ocean чтобы поиграться.

Концепции map-reduce можно тренировать на миникластере (когда все сервисы внутри джава процесса сидят). Чтобы поработать с hdfs c с командной строки или UI, удобнее псевдо-дистрибьютел кластер поставить. Это можно сделать на одной виртуалке с Centos-ом, например.

[Сабина]

Я правильно тебя поняла что при гайме на работу девелопером работодатель об их девелоперской сертификации и не вспоминает ?

[Zorkus]

Я правильно тебя поняла что при гайме на работу девелопером работодатель об их девелоперской сертификации и не вспоминает ?

Из того что я видел - да.

[Zorkus]

Я правильно тебя поняла что при гайме на работу девелопером работодатель об их девелоперской сертификации и не вспоминает ?

Ну ты понимаешь какое дело. Возможно какие-нибудь рекрутеры которые хайрят контракторов на гавернмент проекты или в огромные сабконтракторы - им сертификаты важны, так как нормальное интервью не организуешь да и товар не штучный идет, валом.

В нормальных компаниях, я бы сказал, градация скорее идет как

- коммитер/контрибутер в сам хадуп
- опытный пользователь хадупа
- о хадупе имею представление
- не имею представление

Сам курс, если он хорошо составлен, и стоит недорого и вообще, возможно, имеет смысл как быстрое поглощение знаний и список поинтеров "куда копать дальше", надо сказать. Но вот чего стоит именно бумажка о сдаче экзамена - думаю, мало чего.

[fruit6]

с CCDH после курсов, но без опыта даже в гав. не берут.
Я не то чтобы пытался, но звонили и ничего не вышло.

[NYgal]

на одной машине как бы не прочуствуешь...

На одной машине можно гонять либо миникластер (in-process), либо pseudo-distributed. Есть есть гигов 16 памяти можно гонять 2-3 виртуалки и это уже можно сказать настоящий кластер.

Если не стоит задача заниматься администрированием хадупа или разрабатывать сам хадуп, то вполне можно.

Ты ж в курсе наверное про сертификаты? Что и правда фигня ?

В курсе. Меня как-то один чувак с сертификатом хадуп администратора убеждал, что в хадупе однажды запущенный MR job нельзя заканселить, а можно только ждать пока он завершится

Даже нам за 3 дня в курсе для аналитиков показали, как ето делать
Хотя я и близко девелопером по хадупу не буду никогда.