как живется data scientistам нынче?

[Космос]

http://www.today.com/money/best-jobs-wo ... ore-t51326" onclick="window.open(this.href);return false;

Here's the full list, with average salaries supported by at least 200 salary reports for each particular job title in the report, a Glassdoor representative confirmed with TODAY.

1. Data Scientist

Work-Life Balance Rating: 4.2
Salary: $114,808
Number of Job Openings: 1,315

согласно статье - 1е место

Вопрос к дата сайнтистам и не только - а при какой статистической значимости данное заключение верно на основании выборки, приведенной в статье ?

[Физик-Лирик]

Статью пока не прочитал. Что такое дейта сайнс? А то вижу кучу позиций, а на деле ДВА или ЕТЛ.

[fruit6]

Суффикс 'Scientist' придумали те кому скучно заниматься ETL (ещё бы не скучно!) с целью выбить больше бабла

[Физик-Лирик]

Я бы сказал, платят за математику. У ЕТЛ - все по прежнему либо надбавка за биг дейту.

[Космос]

Статью пока не прочитал. Что такое дейта сайнс? А то вижу кучу позиций, а на деле ДВА или ЕТЛ.

я так понимаю что изначально data science это широкое понятие, и включает конечно же прикладную статистику, но не только ее, а так же технические навыки работы с данными и программирование для работы с данными.
есть другие мнения что это просто "модное название" для биг-дата и etl, компании искользуют что бы привлечь новых работников "перспктивной должностью". А соискателями название используется блеснуть кругзором в резюме )

И все же интересно - что скажут сами дата сайнтисты? Чем заниметесь, рассказывайте

[KotKot]

Data scientist is a data analyst who lives in California

[Физик-Лирик]

я так понимаю что изначально data science это широкое понятие, и включает конечно же прикладную статистику, но не только ее, а так же технические навыки работы с данными и программирование для работы с данными.
есть другие мнения что это просто "модное название" для биг-дата и etl, компании искользуют что бы привлечь новых работников "перспктивной должностью". А соискателями название используется блеснуть кругзором в резюме )

Собственно два направления: ЕТЛ и машинное обучение / прогнозирование. Статистики стоят отдельно и так и называются.

Data scientist is a data analyst who lives in California

Трудно не согласиться.

[Slonjra]

на Хабре видел статью на эту тему.
сам правда не читал

http://habrahabr.ru/company/1cloud/blog/270347/" onclick="window.open(this.href);return false;

[Физик-Лирик]

Судя по тому, как тема быстро заглохла (как впрочем и большинство других, связанных с анализом данных), получается, что большинство форумчан не работает в этой области. Что есть странно, т.к. многие проживают в Кали и имеют математическое образование. Неужели все перебежали в программисты?

[Frecken Bock]

Может, это объясняется тем, что Data scientists работают hard и в отличие от программистов не имеют времени сидеть на Привете ? .

[fruit6]

придуманная профессия. на практике подобные вещи доверяют либо профессионалам-статистикам, либо специалистам от софтваре (не кнопкодавам-пастухам).

[Физик-Лирик]

Может, это объясняется тем, что Data scientists работают hard и в отличие от программистов не имеют времени сидеть на Привете ? .

Вся суть (и романтика) в дейта сайнс - прикрыться математическими терминами и формулировками (т.к. начальство все равно фишку не сечет) изображать большую активность, опять-таки извергая наружу поток умных и мало кому понятных слов (а на фига тогда ПиэйЧДи). В этом случае всегда найдется время для форума.
Приведенный Вами пример относится к ЕТЛщикам. Ну и пусть они себе вкалывают.

[Frecken Bock]

Честно говоря, всю пытаюсь ( очень ласково-дипломатично ) отвлечь сына от науки и посмотреть в сторону, например, этих вот data scientist. Пока не получается
PS Кто такие ETL-щики не знаю
PPS На Google не забанили, почитала

[Физик-Лирик]

придуманная профессия. на практике подобные вещи доверяют либо профессионалам-статистикам, либо специалистам от софтваре (не кнопкодавам-пастухам).

На самом деле сейчас происходит достаточно четкая дифференциация между статистиками и специалистами по машинному обучению / прогнозированию. К первым все больше относят специалистов по статистической обработке данных / результатов и дизайну экспериментов (например, в области клинических испытаний). Вторых относят к дейта сантистам, смешивая их с ЕТЛщиками. Область появилась исключительно после появления Биг Дейта технологий (где-то 3 года назад, сами технологии стали развиваться лет 5 назад), хотя
большинство алгоритмов известны с давних времен.

Согласен, что словечко стало очень модным, я бы сказал гламурным, поэтому большинство уважающих себя ЕТЛщиков, а так же
вовремя подсуетившаяся часть дейта аналитиков, стали себя называть дейта сантистами. Интересно проходить интервью на такие позиции. Мало того, что далеко не все позиции с названиями "Дейта Сайнс", имеют прямое отношение к этой области, очень забавно разговаривать с менеджментом из бизнеса. Если интервьюируют "ученые" - тогда интересно поговорить о технологиях. Если же "начальники-бизнесмены" - задаешься вопросом, а кого собственно они пытаются нанять, т.к. многие из интервьюирующих элементарно не секут никакой фишки.
Похоже сверху спустили, вот и нанимают. Еще прикольней, когда бизнес пытается врубиться, а зачем им вся эта "математика". Здесь либо полное неверие либо "нажми на кнопку и дай мне немедленный ответ". В таких ситуациях главное не тушеваться и вылить полный ушат математического (пардон) поноса. После этого они понимают, что ни во что не врубаются, фигеют (еще раз пардон), но чтобы сохранить лицо пытаются повторять с умным видом твои же слова (так и сами учатся ). Короче забава одна. Почему и люблю дейта сайнс.

Думаю после моего краткого руководства по Дейта Сайнс число желающих возрастет. Будем прикалываться вместе.

[Физик-Лирик]

Честно говоря, всю пытаюсь ( очень ласково-дипломатично ) отвлечь сына от науки и посмотреть в сторону, например, этих вот data scientist. Пока не получается
PS Кто такие ETL-щики не знаю

Если наука правильная - тогда не надо отвлекать. Можно настроить на индустриальную науку. Если не ошибаюсь, ЕТЛ - экстракт, трансформ, лоад, короче загрузка, хранение, извлечение, обработка данных. Кстати, тоже высококвалифицированная область (ничего не скажу).

[Frecken Bock]

Да наука-то правильная ( ДНК, их моделирование и куча еще всего, химия-биология-физика-математика - все в одном флаконе), да денюх не так уж много

[Физик-Лирик]

Да наука-то правильная ( ДНК, их моделирование и куча еще всего, химия-биология-физика-математика - все в одном флаконе), да денюх не так уж много

А может просто аппетиты большие? Я тут в свое время имел удовольствие пообщаться с "молодежью". Так у них такие запросы были, что хоть стой, хоть падай. Правда жизнь все на свои места расставляет, и розовые очки с пятой точки падают и вдрызг об землю. Случайно не тот случай или действительно мало?

Дайта сайнс очень популярен сейчас (биостатистика называется). Моделирование и анализ "Джин експрешенс". Как раз (очень) многомерные пространства, методы по уменьшению размерностей (типа проекций или принципиальных компонент). Да и "кернел" методы (типа суппорт вектор-машины) вовсю идут. Не знаю, насколько все это там интересно. Я в свое время работал по контракту в области "геномов". Было (действительно) очень интересно (даже эту толстую известную книгу про клетку читал). Да и сейчас на полке стоит книга про кернел методы в вычислительной биологии. Но я работал не как дейта сайнтист, а как настоящий сайнтист . Не знаю, стоит ли ребенка отговаривать. Да ну их деньги. Скукота одна. В конце концов, жизнь же не из одних денег состоит.

Самое смешное в том, что мне там постоянку предлагали. Но так как я в том момент уже променял настоящую науку на "повышенное благосостояние", я отказался. Пришлось ретироваться (похоже дорого я им обходился). Так что ребенок пока науку на деньги не променял, пусть в науке остается. Посмотрите на индустриальную науку. Там тоже может быть очень интересно, да и платить могут нормально.

[Frecken Bock]

Да наука-то правильная ( ДНК, их моделирование и куча еще всего, химия-биология-физика-математика - все в одном флаконе), да денюх не так уж много

А может просто аппетиты большие?

Разве что у меня. Хотелось бы, чтоб аппетит был бы побольше

Я тут в свое время имел удовольствие пообщаться с "молодежью".

Увы, уж давно не в ранге молодежи...

Не знаю, стоит ли ребенка отговаривать.

Да я только здесь на форуме жужжу. Уговорить или отговорить на что угодно - не в моих силах.

Да ну их деньги. Скукота одна. В конце концов, жизнь же не из одних денег состоит.

Вот-вот, это похоже, близко.

[KotKot]

Кто-нибудь может ламерским языком объяснить что такое ETL? Википедию читал, но там довольно размытое определение.

Можете привести конкретные примеры работы ETL и отличия от Data Analysis?

[BronenosezPotemkin]

Кто-нибудь может ламерским языком объяснить что такое ETL? Википедию читал, но там довольно размытое определение.

Можете привести конкретные примеры работы ETL и отличия от Data Analysis?

ETL - это в основном перегонка данных с одного места на другое (файлов, баз данных и т.п.). По дороге их можно обработать и преобразовать в нужном виде. Применяются разные tools, например SQL Server Integration Services (SSIS), Data Stage, Информатика... Data Analysis -это типа более высокая ступень, связанна больше со статистикой. В одном банке, где я работала, один такой мужик какие-то модели на SAAS гонял, что он там делал, история умалчивает.

[Физик-Лирик]

Кто-нибудь может ламерским языком объяснить что такое ETL? Википедию читал, но там довольно размытое определение.

Можете привести конкретные примеры работы ETL и отличия от Data Analysis?

ЕТЛ - это часть анализа данных (или дейта сайнса). Грубо говоря так. Хранение данных в виде "таблиц" (и не только), подготовка нужной инфы в виде финальной "таблицы", фильтрация данных, чистка данных и т.п. - это все ЕТЛ. Короче, гоняете квериз на подходящем языке.
Машинное обучение, статистический анализ и прогнозирование - это применение математических методов для нахождение внутренних структур ("паттернс") данных с целью решить поставленную бизнес (или научную) задачу. Прогнозирование - это анализ паттернс, чтобы "вычислить" новые "точки". Собственно это супервайзд машинное обучение и временные ряды. Понятно, что "математика" требует данных, так что ЕТЛ - неотъемлемая часть "науки". Да и на основе квериз можно делать "выводы и прогнозы". В общем все взаимосвязано. В настоящее время основной интерес - это погонять квериз для больших данных или забацать алгоритмик. Если первое, то ЕТЛщик, если
второе, то "статистик", специалист по маш. обучению, "предсказатель". Однако сейчас гламурненько называть все это дейта сансом.

[KotKot]

А как называется человек, который pulls data для себя, потом выполняет простые арифметические действия с данными и иногда, если нужно, использует статистический анализ, но не machine learning?

То есть, конечный результат это не чистая таблица данных для других, а insights and recommendations на основе анализа?

[fruit6]

эээ, "дармоед"?

[KotKot]

Дармоеды это те, кто повыше по рангу. Чем выше, тем больше.

Хотя с точки зрения дворника да, Дармоед.

[Dweller]

Область хорошая и интересная, сижу в ней больше 10 лет.
Основные преимущества пожалуй это то что можно упражнять мозги интересными вещами за казенные деньги, плюс почти полное отсутствие продакшна со всеми вытекающими т.к. все происходит в оффлайне. Если продакшн и есть то не customer facing а обработка данных.
Анализировать данные можно в разных целях
1) для улучшения продукта или создания нового продукта
2) для аналитических услуг своим клиентам
Знание как работают распределенные системы нужно т.к. данные идут оттуда. Нужно хорошее знание статистики. Кодировать тоже нужно уметь но архитектить большие системы не надо
В общем должен быть довольно большой набор разнообразных скиллзов
В больших компаниях скорее всего можно сидеть в R, python, и запускать готовые библиотеки на одном компе на небольших данных