Помогите с мин/мах бухгалтерией в скиллз

[Likenew]

Мне интересно, чем народ занимается в <Big Data>, какие у вас скиллз в ходу? Хочу составить минимальный список из максимально востребованных , всего все равно не вючишь.
Я сейчас типа Хадооп девелопер. Но контора у меня очень большая, И специализация в наше отделе очень узкая, пишем < Hive> И вставляем в разные шаблоны, <instruction files>, которые обрабатывают уже другие люди. Вот я подвожу итоги чего я научила/ не научила, что надо добавить, чтобы быть привлекательной на рынке < > Т.е., у меня есть хорошие представление об общей И локальной архитектуре наших приложений, И там много всего, но я работаю с <AWS: s3, emr, ec2, Hadoop & Hive >.
Сейчас вот увлекаюсь <Python>, на очереди <Pig>, чтобы <mapreduce> был покрыт хорошо, пока <java> отложила, очень трудоемко для <mapreduce>. У нас много скриптов написано на <python> я вижу, но на <java> тоже. Потом на очереди <Spark>, вернее у меня <Spark> перед <Pig> записан. Потом < MongoDB>. Ну И естественно сам девелопмент на хадоопе в общем поглубже, чтобы увязать все скиллз.

Расскажите, что у вас есть, покритикуйте мои <wishful thinking>, дайте свои обоснованные рекоммендации. Спасибо заранее

[valchkou]

Мне интересно, чем народ занимается в <Big Data>, какие у вас скиллз в ходу?

ваш список сам по себе уже тянет на 150к. Не вижу проблем с ним если освоите.
Если к нему еще чего дабавить то вы превратитесь в архитектора на 200+ к, если конечно возраст позволяет.
В бигдате еще в ходу: Spark Streaming, Apache Storm, Kafka, AWS Redshift, AWS Lambdas, AWS Kinesis.
В довесок почти обязательно идет либо Solr либо ElasticSearch, что почти одно и то же.
Другое дело что изучать все это барахло в домашних условиях довольно проблематично.
Ценится опыт решения реальных проблем с настройкой и оптимизацией.

[Likenew]

В нашей конторе конкретно используется < spark and R >, у нас траининг был в прошлом году, тока началось. сейчас мы перед новыми проектами стоим, даже не знаем с чем будем работать. Мне не очень нра моя манагер, поетому хочу куда-нить свалить в пределах своей конторы или в другую. В архитекторы не мечтаю, мне нужна нормальная работа с полной отключкой после работы И без овертаймов

[Likenew]

Ну, в кратце, моя контора обрабатывает информацию о торгах на биржах, отслеживая нарушения.

[valchkou]

Расскажте пожалуйста мне серому, а какие бизнес-задачи решаются с помошью всех этих новых технологий ? Что это все вместе делает ? Какой результат на выходе ?

1)
к примеру у нас имеется задача анализа видео стримов, там считаются определенные события, немалые гигабайты.
железки просто гнулись от нагрузки, пока решилось с помощью AWS Redshift, Lambdas. Но денег стоит.

2)
Сейчас смотрим, думаем про единую систему логов, чтобы их дампить все в базу (возможно кассандра), а поверх SOLR/Elastic.

3)
Собираем данные и аггрегируем на лету. В данный момент справляется in-memory processing, java ForkJoin/Stream поверх кассандры.
Но в перспективе смотрим на Spark, Spark Streaming, объемы растут.

Короче задачи всегда найти можно, были бы деньги

[Физик-Лирик]

В нашей конторе конкретно используется < spark and R >, у нас траининг был в прошлом году, тока началось. сейчас мы перед новыми проектами стоим, даже не знаем с чем будем работать. Мне не очень нра моя манагер, поетому хочу куда-нить свалить в пределах своей конторы или в другую. В архитекторы не мечтаю, мне нужна нормальная работа с полной отключкой после работы И без овертаймов

Что именно из < spark and R >? СпаркР или по отдельности? Я имею в воду отдельно R и отдельно Спарк с библиотекой?
Имя конторы случайно не из пяти букв?

[fruit6]

возможно это не F***A, а какой-то мелкий оставшийся регулятор

[Likenew]

В нашей конторе конкретно используется < spark and R >, у нас траининг был в прошлом году, тока началось. сейчас мы перед новыми проектами стоим, даже не знаем с чем будем работать. Мне не очень нра моя манагер, поетому хочу куда-нить свалить в пределах своей конторы или в другую. В архитекторы не мечтаю, мне нужна нормальная работа с полной отключкой после работы И без овертаймов

Что именно из < spark and R >? СпаркР или по отдельности? Я имею в воду отдельно Р и отдельно Спарк с библиотекой?
Имя конторы случайно не из пяти букв?

Я не могу сказат ничего очен конкретного к сожалению, толко поделится наблюдениями, как началство восхищается спарком. Но траининг по Р был очен поветхностны по анализу, как загрузит Данные для анализа И т.п. Я, изучая спарк, могу сказат, чтё задач под него может быт много, тот же < etl >. У нас некоторые таблицы часами грузятся. К сожалению, я глянула, а загрузит Спарк на свой рабочий комп я не могу, т.е.возможно спарк нам не светит. Интересно, как у нас кластеры сконфигурированы , ест спарк по умолцянию, или выбросили. Можно было бы попробоват свой проект написат на спарк.

[valchkou]

К сожалению, я глянула, а загрузит Спарк на свой рабочий комп я не могу, т.е.возможно спарк нам не светит. Интересно, как у нас кластеры сконфигурированы , ест спарк по умолцянию, или выбросили. Можно было бы попробоват свой проект написат на спарк.

держите. https://academy.datastax.com/courses/ge ... ache-spark" onclick="window.open(this.href);return false;
грузится и запускается локально под виртуалку. Я использовал VirtualBox от оракла.
Тренинг хотя и под кассандру, но основы спарка даются без привязки к самой кассандре.

[Likenew]

К сожалению, я глянула, а загрузит Спарк на свой рабочий комп я не могу, т.е.возможно спарк нам не светит. Интересно, как у нас кластеры сконфигурированы , ест спарк по умолцянию, или выбросили. Можно было бы попробоват свой проект написат на спарк.

держите. хттпс://ацадемы.датастах.цом/цоурсес/геттинг-стартед-апаче-спарк
грузится и запускается локально под виртуалку. Я использовал ВиртуалБох от оракла.
Тренинг хотя и под кассандру, но основы спарка даются без привязки к самой кассандре.

Я загрузила спарк на попробоват ис спарк.апачи. спарк хорош тем, что не требует хадоопа для попробоват, И можно с ним баловатся ис шиндошс. А то цлаудера хадооп загрузит - сама по себе задача. Я вот уже на половине спарка по изучению, а все не дозагружу софт для хадоопа. Уже И монго установила И побаловалас. Постоянно зараза срывается без присмотра, что то опят провайдер Интернетa подводит

[Likenew]

В обчим, подходит мой е... отпуск к концу. Вот дам апдейт по узученному.
Поскольку у меня были затруднения с установкой хадоопа, то я занялась спарком, который можно попробовать локально без хадоопа. Спарк, ето как-бы другой подход к хадоопу, который лечит изьяны <map reduce>. Мне каецца, что скоро < map reduce> уйдет в лету. Даже не знаю стоит ли тратить силы-время на <PIG>.
В кратце, < map reduce> нацелен был на <batch>обработку, т.е., не в реальном времени, И ета обработка особой скоростью не отличалась. Спарк же напротив, предназначен для <real time processing>, там все процесс происходят в памяти, но глубинный принцип такой же, все размазано по кластеру, но на самих нодес задача разбита на мицробатчес для <sreaming> например, И все начинается по новой. Я не знаю, насколько отличается стоимость оборудования для спарка, если отличается, поскольку спарк по умолчанию входит вроде, но если не отличается, то, например, все наши приложения будут выполнятся намного дешевле на спарке, поскольку мы платим повременно амазону.
Но, посмотрев на количество работ... >

[Физик-Лирик]

В обчим, подходит мой е... отпуск к концу. Вот дам апдейт по узученному.
Куда пойти, чтобы обресть нормальные скиллс, которые будут актуальными следующе 10-15 лет??? Мне каецца, сейчас время перемен, такой период, когда меняется архитектура, подход к решению задач, И все будет менятся очень быстро, пока не устаканится на какое-то время. Хочется не лажануться по-крупному.

А что Вы со Спарком планируете делать? ЕТЛ или будете какую аналитику гонять? Какой язык используете для работы со Спарком? На мой взгляд Пиг актуальности абсолютно не потерял. Уже несколько лет в моде.
Что будет в ближайшие годы? Я не уверен, что существует ответ. Просто надо учить, что есть сейчас (особенное если за длинным гнаться). Наверняка, текущие идеи приживутся в той или иной форме.

[Likenew]

А что Вы со Спарком планируете делать? ЕТЛ или будете какую аналитику гонять? Какой язык используете для работы со Спарком? На мой взгляд Пиг актуальности абсолютно не потерял. Уже несколько лет в моде.
Что будет в ближайшие годы? Я не уверен, что существует ответ. Просто надо учить, что есть сейчас (особенное если за длинным гнаться). Наверняка, текущие идеи приживутся в той или иной форме.

Ну, заинтересованность спарком возникла из-за интереса моей конторы к нему, хотелось бы проект по спарку получить. К спарку у меня <Python>. И еще, поскольку у спарка есть возможность работать с ДБ - ето СЪЛ, или <s3> - ето <Hive>, что значительно будет ускорять разработку. С таким набором мне все по плечу , И <ETL> И аналитика. Просто я сперва не знала, что такое спарк, И запланировала <PIG>. В общем, вы конечно правы, надо закончить етот хадооп с <PIG>, чтобы был шире выбор работ. Я не то чтобы ленивая, просто <Python> сам по себе кусок работы, хорошо, что у меня есть некоторые познания <perl & java>, И он как-то пошел мне. Т.е., сам <python> надо еще углублять да <PIG> , не расслабишься...

[Физик-Лирик]

Ну, заинтересованность спарком возникла из-за интереса моей конторы к нему, хотелось бы проект по спарку получить. К спарку у меня <Python>. И еще, поскольку у спарка есть возможность работать с ДБ - ето СЪЛ, или <s3> - ето <Hive>, что значительно будет ускорять разработку. С таким набором мне все по плечу , И <ETL> И аналитика. Просто я сперва не знала, что такое спарк, И запланировала <PIG>. В общем, вы конечно правы, надо закончить етот хадооп с <PIG>, чтобы был шире выбор работ. Я не то чтобы ленивая, просто <Python> сам по себе кусок работы, хорошо, что у меня есть некоторые познания <perl & java>, И он как-то пошел мне. Т.е., сам <python> надо еще углублять да <PIG> , не расслабишься...

Пиг он не особо сложный. Пару часиков книжку посмотреть, и уже первый код писать можно. Нормальный язык. А так за неделю другую вполне до среднего уровня осваивается. Главное на нем работать. Я вот периодически что-то выучу, поработаю, потом мы на другой софт переходим, старый забывается. Так вот по кругу и можно ходить. Похоже, Питон сейчас самое оптимальное. И для аналитики, и для Биг даты. Я вот аналитику на Спарке/Скале и R делаю. Наверное, было бы оптимальным все на Питоне делать. Мне просто Скалу захотелось освоить, а на R я уже давно. Сейчас, похоже, Питона догнал R, да и смотрю все больше контор Питон стали хотеть (хотя R тоже). Тоже нет стандарта. Куча других пакетов. Тоже не ясно, куда все это заведет. Про другие ОО языки вообще молчу. Для аналитики они особо не нужны. А тот как вдруг всплывают, так и на интервью начинают спрашивать. Кошмар просто.

[Likenew]

Да хочется все по-быстрому. И етот новый неизвестный проект грядет. Я просто думала, если что-то интересное в смысле новых скиллс, то можно еще И поработать, а если нет, то надо работу искать