Кто нибудь занимается Predictive Analytics?

[Sergunka]

https://en.wikipedia.org/wiki/Predictive_analytics" onclick="window.open(this.href);return false;

Как там дело по бабосам обстоит и есть ли перспективы? Тема вроде как горячая на сегодняшний день.

[Likenew]

Меня тоже тема интересует в свете, как туда плавно перелиться не теряя в деньгах, не на юниор же пойти

[blanko27]

IMHO Predictive analytics уже вчерашний день, и не теряя денег вряд ли вы туда попадете.

[Sergunka]

IMHO Predictive analytics уже вчерашний день

А чо нынче в моде?

[Likenew]

Сергунка, а я тут по цлоудере шарила, у них новые сертификации появились.
< CCP Data Scientist >, но там надо многа екзаменов сдать. Все хандс-он задания.
Я вот смотрю на етого < CCA Spark and Hadoop Developer >, всего один екзамен. Может до сертификата и не дойду, но в процессе подготовки можно выучить все на свете. Я посмотрела, загрузить данные, выгрузить данные, попользоваться импалой, найти какие-то значения, написать там чего-то в программе...
Правда я седня выполняла первое задание, и у меня ета зараза файлд. Надо разбираться чего я там не установила правильно < >

[blanko27]

А чо нынче в моде?

Я неудачно выразился. Predictive analytics ни куда не девался, но простыми моделями сейчас никого не удивишь (т.е. и денег нормальных не заработаешь)

[Физик-Лирик]

IMHO Predictive analytics уже вчерашний день, и не теряя денег вряд ли вы туда попадете.

И почему это вчерашний день?
Я бы сказал, все наоборот. До бизнеса стало постепенно доходить, что применение математики может принести неплохие дивиденды.

Меня тоже тема интересует в свете, как туда плавно перелиться не теряя в деньгах, не на юниор же пойти

А какие направления интересуют? Для предиктив аналитикс надо выучить статистику, машинное обучение, математику (хотя бы оптимизацию и линейную алгебру), языки/пакеты (типа R) и что-нибудь из Биг Дейты (типа Спарка, воды, хадупа, пига, сиквела). Можно какие-нибудь визуалиционные тулсы, но не обязательно. Собственно и все. Для расширения кругозора я бы еще рекомендовал временные ряды. Для более продвинутого обучения методы эконометрики и эпидемиологии. Ну и для совсем полного отпада - прикладную математику. Но тогда уже можно позиционировать себя не только как аналитик, но и как математический "моделирователь". Толку не особо много, но приятно, особенно когда что-то ляпнешь, а кругом никто ничего не понимает. А если понимают и вопросы задают - значит работаешь в правильном месте. Если еще при этом повезёт с зарплатой, то наступит счастье в жизни.

[Физик-Лирик]

А чо нынче в моде?

Я неудачно выразился. Predictive analytics ни куда не девался, но простыми моделями сейчас никого не удивишь (т.е. и денег нормальных не заработаешь)

А что есть простая модель?
Сейчас ценится умение правильно ставить и решать бизнес задачи. А какие при этом буду использованы модели - отдельный вопрос. Можно и простые, если работают нормально.

[blanko27]

А что есть простая модель?
Сейчас ценится умение правильно ставить и решать бизнес задачи. А какие при этом буду использованы модели - отдельный вопрос. Можно и простые, если работают нормально.

За последний год на Привете возникло множество топиков о том "как стать data scientist" и "сколько data scientist зарабатывают". Предполагается, что можно пройти какие-то магические "курсы" и после этого переквалифицироваться из программиста в в управ... дата саентисты. Вы же знаете, что не все так просто, нужно много тренироваться. Как там, в "Даун Хаусе"

— К слову, князь, а Вы имеете интимный опыт в любви с женщиной?
— Разумеется, нет.
— Как же Вы жениться собрались тогда?
— Для этого и собирался. А что?
— Это крайне важно. У меня вот одна знакомая так по незнанию замуж вышла и ей очень не понравилось.
— Как же быть?
— Надо много практиковаться.
— Но с кем и где?
— Можно со мной. Я не возражаю. А где? На крыше дома № 6. Там гудрон, мягко, тепло, романтично.
— Я готов.

[fruit6]

у нас реализован "Predictive (censored)" (у конторы 70 милиардов продаж за 2015) на rule-engine. Люди любят попроще, без булшита и scientology дата сцаенс.

[valchkou]

Как там дело по бабосам обстоит и есть ли перспективы? Тема вроде как горячая на сегодняшний день.

по мне так технический чел который в состоянии спроектировать, выстроить и запустить платформу под аналитику,
более востребован и высокооплачиваем на рынке, чем тот же phd со 100 годами в статистике и математике.
А все почему?
а потому что в технологиях на данный момент полный зоопарк, никаких стандартов, огромное количество вариаций платформ и инструментов.
Все это требует нестандартного мышления, огромную работоспособность, интуицию и умение, с элементами везения, все это поженить.

При этом в самой аналитике каждый физик-лирик назовет наизусть тебе основные методы, модели и формулы перечислит и расскажет что к чему приложить. Т.е там изначально царит порядок и структура, а потому и критерии найма боелее менее понятны и прозрачны.
Причем что интересно, на биг-дата архитектора с опытом людей днем с огрем не сыщешь, да хотябы с бакалавром в кармане,
а на позицию аналитика сразу же выстраивается очередь из PHD.

[kyk]

При этом в самой аналитике каждый физик-лирик .

У нас Физик-Лирик всего один, а не "каждый"

[valchkou]

При этом в самой аналитике каждый физик-лирик .

У нас Физик-Лирик всего один, а не "каждый"

да это я не подумав обобщил,
привет вообще уникален, потому как тут каждый ник уникален,
а порой, наиболее глубоки личности покрывают собой более чем один ник.

[Физик-Лирик]

по мне так технический чел который в состоянии спроектировать, выстроить и запустить платформу под аналитику,
более востребован и высокооплачиваем на рынке, чем тот же phd со 100 годами в статистике и математике.

Причем что интересно, на биг-дата архитектора с опытом людей днем с огрем не сыщешь, да хотябы с бакалавром в кармане,
а на позицию аналитика сразу же выстраивается очередь из PHD.

Я всегда в своих постах утверждал, что людям, пересидевшим в академии, труднее устроиться в индустрии. Естественно, теоретики индустрии особо не нужны. Поэтому я утверждал выше, что ценятся специалисты, которые умеют правильно формулировать бизнес задачи и уметь их решать (практически). Если мы говорим конкретно о предиктив аналитикс, то это означает, что человек понимает бизнес область (или способен ее изучить в разумные сроки), умеет правильно сформулировать вопрос и модель, построить модель (запрограммировать), оценить результаты и т.п. Собственно все это и есть работа в предиктив аналитикс. А продвинутая степень в основном нужна из-за математики/статистики, которые лежат в основе моделей. Вот таких специалистов как раз не хватает.

При этом в самой аналитике каждый физик-лирик .

У нас Физик-Лирик всего один, а не "каждый"

[Alexandr]

Я сейчас активно учусь этому, но пока по существу сказать ничего не могу

[Alexandr]

Физик очень хорошо написал. Все правильно. Сам ставишь задачи, сам их решаешь, сам пишешь production code, сам тестируешь, сам поддерживаешь, сам улучшаешь predictive performance. Потому и трудно людей найти.

А вы используете только обще доступные модели или какие-то свои тоже создаете?

[Физик-Лирик]

А вы используете только обще доступные модели или какие-то свои тоже создаете?

Да по всякому бывает. Зависит от задач. В основе обычно лежат опробованные методы. Как обычно отталкиваешься от известного. Но как показывает практика, каждая проблема имеет свой подход.

Как там дело по бабосам обстоит и есть ли перспективы? Тема вроде как горячая на сегодняшний день.

.
Ну я занимаюсь. Платят нормально, работы много. Без major in statistics или эквивалентных знаний делать нечего.

По моим наблюдениям и разговорами с рекрутерами, до недавнего времени диапазон зарплат устанавливался чисто эмпирических, т.е. конторы сами особо не знали, сколько Дейта сайнтисты стоят. Сейчас вроде как все это дело утрясается. На мой взгляд диапазон как и у девелоперов. Слышал и другие мнения. Но здесь есть еще момент. Как бы есть Дейта сайнтисты "общего профиля", а есть специалисты по машинному обучению (тот же предиктив аналитикс). Формально последние тоже Дейта сайнтисты, но сейчас вроде как стали их выделять в отдельную группу (даже по названию должности). В этот процесс стали "вмешиваться" Биг Дейта сайнтисты. В общем получается некая чехарда. Но все постепенно приходит к некой структуре. Как я говорил выше, бизнес все-таки пришёл к осознанию необходимости.

[Физик-Лирик]

Физик очень хорошо написал. Все правильно. Сам ставишь задачи, сам их решаешь, сам пишешь production code, сам тестируешь, сам поддерживаешь, сам улучшаешь predictive performance. Потому и трудно людей найти.

Да, нужны практики с хорошим пониманием теории. А PhD теоретики спросом не пользуются.

[Alexandr]

Физик-Лирик
А не могли бы написать список того, что нужно знать?

[Likenew]

Физик-Лирик
А не могли бы написать список того, что нужно знать?

я вот книжечку загрузила, в електричке образовываюсь < A guide to handling data using hadoop > там автор упоминает, что ето все для <data scientist> . Hadoop, hue, Hcatalog, sqoop, impala, hive, pig , etc

[flip_flop]

А чо нынче в моде?

Я неудачно выразился. Predictive analytics ни куда не девался, но простыми моделями сейчас никого не удивишь (т.е. и денег нормальных не заработаешь)

Я сильно извиняюсь, но даже такие "простые" модели как SVM, GBM, splines, k-means и т.д. занимают около года выучить как положено и сделать пару проектов игрушечных для человека с профильным quantitative образованием. Если к этому добавить теорию вероятности на хорошем уровне, ну чтобы не стыдно было взрослые разговоры разговаривать, random processes и т.п., то еще год сверху. Параллельно тулзы разные освоить. Учитывая что 99% процента населения планеты даже за 10 лет это "простое" не осилят, то я думаю, деньги нормальные заработать можно, на уровне программистов с хорошим опытом. Хотя может для вас 300К+ только нормальные деньги.

Хе-хе, "конец немного предсказуем" - сложность и эксклюзивность отраслей data science несколько преувеличена. Для человека с хорошим математическим, физическим, или теоретически-инженерным образованием почти всё вышеуказанное уже должно быть знакомо. Из нового - машинное обучение, пожалуй, ну может быть нечто из новых алгоритмов. Ну и тулзы, но это мелочи. Впрочем, я дата сцайенсом не занимаюсь (хотя почти всё из цитаты выше приходилось применять: от SVM до случайных процессов). Пусть физик-лирик скажет веское слово, он вроде у вас на полях именно дата сцайнсе пасётся.

[RedPanda]

А чо нынче в моде?

Я неудачно выразился. Predictive analytics ни куда не девался, но простыми моделями сейчас никого не удивишь (т.е. и денег нормальных не заработаешь)

Я сильно извиняюсь, но даже такие "простые" модели как SVM, GBM, splines, k-means и т.д. занимают около года выучить как положено и сделать пару проектов игрушечных для человека с профильным quantitative образованием. Если к этому добавить теорию вероятности на хорошем уровне, ну чтобы не стыдно было взрослые разговоры разговаривать, random processes и т.п., то еще год сверху. Параллельно тулзы разные освоить. Учитывая что 99% процента населения планеты даже за 10 лет это "простое" не осилят, то я думаю, деньги нормальные заработать можно, на уровне программистов с хорошим опытом. Хотя может для вас 300К+ только нормальные деньги.

Год для человека с профильным образованием? Вы зачем пугаете людей? Месяц на перечисленное.

[Alexandr]

Физик-Лирик
А не могли бы написать список того, что нужно знать?

я вот книжечку загрузила, в електричке образовываюсь < A guide to handling data using hadoop > там автор упоминает, что ето все для <data scientist> . Hadoop, hue, Hcatalog, sqoop, impala, hive, pig , etc

записал себе

[Alexandr]

Физик очень хорошо написал. Все правильно. Сам ставишь задачи, сам их решаешь, сам пишешь production code, сам тестируешь, сам поддерживаешь, сам улучшаешь predictive performance. Потому и трудно людей найти.

А вы используете только обще доступные модели или какие-то свои тоже создаете?

Свои, конечно. Любые общедоступные модели надо подкручивать, ну и блендинг делать тоже имеет смысл. Но вообще, построение модели это 1% всей работы. У меня очень много data visualisation, например. Новые методы, конечно, я не изобретаю.

а что такое блендинг?

[Физик-Лирик]

Физик-Лирик
А не могли бы написать список того, что нужно знать?

я вот книжечку загрузила, в електричке образовываюсь < A guide to handling data using hadoop > там автор упоминает, что ето все для <data scientist> . Hadoop, hue, Hcatalog, sqoop, impala, hive, pig , etc

записал себе

А чем Вы конкретно хотите заниматься? Все вышеперечисленное имеет прямое отношение для Биг Дейта сайнс. Но это все же скорее ЕТЛ. Для предикатов аналитик нужны методы машинного / статистического обучения (супервайзд и ансупервайзд). Если Вам интересно, можно обсудить эту тему.