Кто нибудь занимается Predictive Analytics?

[Физик-Лирик]

Год для человека с профильным образованием? Вы зачем пугаете людей? Месяц на перечисленное.

Хе-хе, "конец немного предсказуем" - сложность и эксклюзивность отраслей data science несколько преувеличена. Для человека с хорошим математическим, физическим, или теоретически-инженерным образованием почти всё вышеуказанное уже должно быть знакомо. Из нового - машинное обучение, пожалуй, ну может быть нечто из новых алгоритмов. Ну и тулзы, но это мелочи. Впрочем, я дата сцайенсом не занимаюсь (хотя почти всё из цитаты выше приходилось применять: от SVM до случайных процессов). Пусть физик-лирик скажет веское слово, он вроде у вас на полях именно дата сцайнсе пасётся.

Это смотря что имеется в виду под профильным образованием. Естественно, что для людей с хорошим математическим и физическим образованием нет проблем выучить. Это при условии, что человек получил своего "доктора по статистике", работал в академии, потом вдруг бац, а не пойти ли мне в индустрию деньги закалачивать? Тогда за месяц. Другое дело, что Дейта сайнс с практической (не академической) точки зрения рассматривается как область ИТ. Поэтому туда идет много народу с соответствующим образованием (в основном компсайнсы). Ну и какое у них, пардон, математическое образование? Инженеры? Так это же в основном бакалавры. Местный бакалавр пусть даже в математике ... короче, сами понимаете. Там месяц уйдёт чтобы названия выучить.
Но я больше про предиктив аналитикс. А общий Дейта сайнс - просто новая (или хорошо раскрученная) область ИТ. Здесь хороший ИТишник все за месяц выучит.

[Dweller]

Чтобы применять data science и оно работало в продакшне нужен не один год опыта. Т.е. чел должен уметь не только знать методы а знать изначально какой метод и подход сработает именно в этом конкретном случае с использованием конкретных продакшн технологий. Ну это уже уровень лида, а подзадачки можно раскидать на более узко-специализированных хадупщиков, R-щиков, людей с PhD в статистике и пр. Универсалы дороги.

[RedPanda]

Год для человека с профильным образованием? Вы зачем пугаете людей? Месяц на перечисленное.

Хе-хе, "конец немного предсказуем" - сложность и эксклюзивность отраслей data science несколько преувеличена. Для человека с хорошим математическим, физическим, или теоретически-инженерным образованием почти всё вышеуказанное уже должно быть знакомо. Из нового - машинное обучение, пожалуй, ну может быть нечто из новых алгоритмов. Ну и тулзы, но это мелочи. Впрочем, я дата сцайенсом не занимаюсь (хотя почти всё из цитаты выше приходилось применять: от SVM до случайных процессов). Пусть физик-лирик скажет веское слово, он вроде у вас на полях именно дата сцайнсе пасётся.

Это смотря что имеется в виду под профильным образованием. Естественно, что для людей с хорошим математическим и физическим образованием нет проблем выучить. Это при условии, что человек получил своего "доктора по статистике", работал в академии, потом вдруг бац, а не пойти ли мне в индустрию деньги закалачивать? Тогда за месяц. Другое дело, что Дейта сайнс с практической (не академической) точки зрения рассматривается как область ИТ. Поэтому туда идет много народу с соответствующим образованием (в основном компсайнсы). Ну и какое у них, пардон, математическое образование? Инженеры? Так это же в основном бакалавры. Местный бакалавр пусть даже в математике ... короче, сами понимаете. Там месяц уйдёт чтобы названия выучить.
Но я больше про предиктив аналитикс. А общий Дейта сайнс - просто новая (или хорошо раскрученная) область ИТ. Здесь хороший ИТишник все за месяц выучит.

Я сомневаюсь, что для всего вышеперечисленного нужно иметь доктора в статистике, да еще и опыт. Доктора, они обычно копают очень вглубь и очень специфично. Для PA, как вы ее называете, нужно знать методы и техники, я имею в виду для работы непосредственно, а не для того, чтобы ее получить.

[Мальчик-Одуванчик]

Физик очень хорошо написал. Все правильно. Сам ставишь задачи, сам их решаешь, сам пишешь production code, сам тестируешь, сам поддерживаешь, сам улучшаешь predictive performance. Потому и трудно людей найти.

А вы используете только обще доступные модели или какие-то свои тоже создаете?

Даже использование определенной стандартной модели могут попросить обосновать математически.

[Физик-Лирик]

Я сомневаюсь, что для всего вышеперечисленного нужно иметь доктора в статистике, да еще и опыт. Доктора, они обычно копают очень вглубь и очень специфично. Для PA, как вы ее называете, нужно знать методы и техники, я имею в виду для работы непосредственно, а не для того, чтобы ее получить.

Правильно, доктор в статистике совсем не нужен. Именно поэтому я заключил это в кавычки. Просто если человек только из академии (в широком понимании) с соответствующим профилем, тогда освоить можно достаточно быстро. А если занимался алгебраической теорией колец или компсайнсом или администрировал базы данных, тогда за месяц вряд ли получится. Понятно, все зависит от начальной базы.
Думаю, самый простой способ проверить - провести эксперимент. Если кто-то интересуется, попробовать учить месяц, а потом начать интервьюироваться.

[RedPanda]

Я сомневаюсь, что для всего вышеперечисленного нужно иметь доктора в статистике, да еще и опыт. Доктора, они обычно копают очень вглубь и очень специфично. Для PA, как вы ее называете, нужно знать методы и техники, я имею в виду для работы непосредственно, а не для того, чтобы ее получить.

Правильно, доктор в статистике совсем не нужен. Именно поэтому я заключил это в кавычки. Просто если человек только из академии (в широком понимании) с соответствующим профилем, тогда освоить можно достаточно быстро. А если занимался алгебраической теорией колец или компсайнсом или администрировал базы данных, тогда за месяц вряд ли получится. Понятно, все зависит от начальной базы.
Думаю, самый простой способ проверить - провести эксперимент. Если кто-то интересуется, попробовать учить месяц, а потом начать интервьюироваться.

Интервьюироваться как раз не получится, потому что сложно туда попасть без опыта.

[Физик-Лирик]

Интервьюироваться как раз не получится, потому что сложно туда попасть без опыта.

На самом деле, если есть хороший опыт или хорошее образование в математике, то думаю можно попробовать. Видел позиции, где требования опыта минимальные. Если не секрет, какой опыт мы здесь рассматриваем?

[RedPanda]

Интервьюироваться как раз не получится, потому что сложно туда попасть без опыта.

На самом деле, если есть хороший опыт или хорошее образование в математике, то думаю можно попробовать. Видел позиции, где требования опыта минимальные. Если не секрет, какой опыт мы здесь рассматриваем?

Я говорю абстрактно. Самое сложное - это найти первую работу, или первую работу после смены предметной области.

[Sergunka]

https://en.wikipedia.org/wiki/Predictive_analytics

Как там дело по бабосам обстоит и есть ли перспективы? Тема вроде как горячая на сегодняшний день.

Вообще вопрос был за бабосы. Если не сложно участника обсуждения вернуться в тему бабосов.

Отдельно огромное спасибо за ностальгические воспоминания о трех лет жизни проведенной абсолютно в пустую с точки зрения бабосов в изучении регрессионного и кластерного анализа и особо выдавила слезу воспоминаний о сплайн интерполяции. Вот была надежда, что может быть три года жизни не были потраченны в пусту и зло"учую функцию Грина я не зря помнил на изусть.

P.S. Я даже всплакнул вспонив, что мы каждую неделю делали лабораторную на протяжении целого года - схема была по провинциальному простой хреначишь на калькуляторе и потом кодишь уже по-взрослому. В один из таких жизенных моментов вроде как раз это был сплайн метод где я прогнав задачу обнаружил, что не сходится с ручным тестом. Я просто перенаправил вывод печати в файл (кто помнит ЕС ЭВМ это было не так уж и тривиально) и в экранном редакторе отредактировал вывод. Принес распечатку преподше и она с какого-то бодуна начала по моему тексту программы на калькуляторе проверять - понятно у нее не сошлось На что я сочувственно заметил - машина никогда не ошибается, а так как преподша была не вкурсе, что вывод задачи можно редактировать, то скрепя сердцем поставила зачет по лабораторной

[Физик-Лирик]

Вообще вопрос был за бабосы. Если не сложно участника обсуждения вернуться в тему бабосов.

Я уже упоминал, что зарплаты (мои наблюдения) схожи с девелоперскими. Ну а так сильно зависит, насколько удастся убедить руководство в своей необходимости. Рынок зарплат еще не устаканился, так что можно и рыбку выудить в мутной воде.
Функция Грина точно не понадобится, даже если уйдете чисто в мат. моделирование. Сплайны могут встретиться. С другой стороны, многие интервью проводятся в стиле оценить мыслительно-решательные способности. Так что воспоминания о функциях Грина, преобразованиях Лапласа и уравнения Навье-Стокса могут быть восприняты очень положительно. Это я на полном серьёзе говорю.

[blanko27]

Вообще вопрос был за бабосы. Если не сложно участника обсуждения вернуться в тему бабосов.

Я неудачно выразился. Predictive analytics ни куда не девался, но простыми моделями сейчас никого не удивишь (т.е. и денег нормальных не заработаешь)

Я сильно извиняюсь, но ... Учитывая что 99% процента населения планеты даже за 10 лет это "простое" не осилят, то я думаю, деньги нормальные заработать можно, на уровне программистов с хорошим опытом. Хотя может для вас 300К+ только нормальные деньги.

Вы меня не так перефразируете В общем то, что я имел в виду, имеет сходство с базами данных. К примеру, есть люди, которые:
- создают логические модели данных
- их имплементируют (физическая модель данных)
- рзрабатывают движки для баз данных (kdb/q, sqlite, DB2, etc)
- поддерживают базы данных (бравые DBA-и)
- others

В predictive analytics это разделение уже сформировалось. Т.е. это отлично, что вы понимаете nuts and bolts и можете делать full stack девелопмент , но реальность в том, что у вас просто нет времени на то, чтобы с нуля:
- разработать свой фреймворк который будет бегать на кластере GPU (уже разработаны, так же как и базовые имплемнтации алгоритмов, это то, что я имел в виду)
- поддерживать кластеры GPU в продакшн (много денег на этом не заработаешь)
- создать predictive model (это то, что вы имеете в виду, когда говорите, что нужно знание теории)
- имплементировать модель на кластере GPU (за это, я думаю, можно получить денег как программист)

Уфф...надоело писать...как вам такой ход мыслей, с точки зрение (почти) full cycle?

[Deckel]

Predictive Analytics от Data Science по хорошему отличается тем что аналитик работает с известными данными и задачей а ds сам себе должен это все создать. Поэтому если бы названия соответствовали действительности, то аналитику платили бы как образованному программисту а ds как звезде развития бизнеса. Часто так и есть но часто все названия перепутаны. Обычному аналитику в этом смысле платят от $50 до 150 в зависимости от многих факторов. А человек, который может сам развивать бизнес может и вдвое больше получать, особенно если бонус связан с результатами компании (на которые он непосредственно влияет) . Это я привёл, чтобы сделать дискуссию более предметной.

[Alexandr]

Физик-Лирик
А не могли бы написать список того, что нужно знать?

я вот книжечку загрузила, в електричке образовываюсь < A guide to handling data using hadoop > там автор упоминает, что ето все для <data scientist> . Hadoop, hue, Hcatalog, sqoop, impala, hive, pig , etc

записал себе

А чем Вы конкретно хотите заниматься? Все вышеперечисленное имеет прямое отношение для Биг Дейта сайнс. Но это все же скорее ЕТЛ. Для предикатов аналитик нужны методы машинного / статистического обучения (супервайзд и ансупервайзд). Если Вам интересно, можно обсудить эту тему.

я сейчас статистику повторяю и математику в целом, потом полезу в машинное обучение, а оттуда хочу расшириться в другие направления Data Science. Естественно - это не является моим primary направлением, но тем не менее хочется разбираться на нормальном уровне

[flip_flop]

Человек с quantitative образованием, но кто не изучал в универе длинный список предметов по статистике и оптимизации года два, тот конечно, разберется, если его носом ткнуть где копать. А сам, с нуля - ноль шансов.

"Конец немного предсказуем. Где-то с середины дискуссии было чувство, что выступит Снежная Королева и скажет - ноль шансов. Так и вышло"

Позволю не согласиться. И Сергунька и Борискин и Флеш и многие другие с профильным образованием способны разобраться как и где применять какой метод без тыкания их носом куда бы ни было.

По поводу интервью на data scientist- Вашего покорного зазывали и без упоминания сокровенного "дата сцайентист" в резюме, просто "сцайентист" с подтверждённым списком публикаций было достаточно. Не то чтобы хвастаюсь, но в свете дискуссии считаю нужным упомянуть. Смысла не имело так как "down shifting", но всё-таки.

У нас на новомодную data science работу взяли местного инженера (ну, правда, с Ph.D. и длинным списком работ с применением статистики), ибо знание предметной области является первичным. В ваших этих бизнесах может быть и по другому, не знаю и в своих заблуждениях не настаиваю.

Меня всегда забавляла ситуация, когда специалиста окружают подозрительные невежды со всех сторон. zVlad был окружён невеждами в области ОС, Снежная Королева окружена невеждами в моделировании и оптимизации. Обидно за них до слёз

[RedPanda]

А в каких компаниях и для каких задачах используется это PA? Если ты что-то predict, то ты predictive analyst?

[Физик-Лирик]

"Конец немного предсказуем. Где-то с середины дискуссии было чувство, что выступит Снежная Королева и скажет - ноль шансов. Так и вышло"

Позволю не согласиться. И Сергунька и Борискин и Флеш и многие другие с профильным образованием способны разобраться как и где применять какой метод без тыкания их носом куда бы ни было.

По поводу интервью на data scientist- Вашего покорного зазывали и без упоминания сокровенного "дата сцайентист" в резюме, просто "сцайентист" с подтверждённым списком публикаций было достаточно. Не то чтобы хвастаюсь, но в свете дискуссии считаю нужным упомянуть. Смысла не имело так как "down shifting", но всё-таки.

По-моему, мы начинаем ходить по кругу. Сн. Королева правильно объяснила разницу между "теоретическими" знаниями и практическими. Никто не говорит, что люди с профильным как тут упоминали образованием не смогут выучить. Просто время выучивания будет сильно зависит от исходных данных. На интервью "инженеров" вызывают от безысходности. Нет большого числа спецов. Область новая, универы вот только начали запускать программы. До этого только статистика была. Вы считаете, что каждый инженер хорошо математику со статистикой знает и автоматически сможет работать аналитиком? Естественно нет. Публикации вообще мало кого волнуют. Меня за все время всего несколько раз просили список показать, хотя у меня упоминание об их количестве стоит 2-3 строкой в , и я много лет работал в науке (как академической, так и индустриальной). Не является это критерием. Не знаю, куда кого зазывают, но я много прохожу интервью. Человеку на серьёзную позицию без реальных знаний трудно пройти. Не верите? У Вас взгляд на РА это "как два пальца ... (подставьте глагол, который больше нравится)". Поверьте, это абсолютно не так. Не буду утверждать, что здесь то-то сверхестественное, но поработать надо. Я уже говорил, что ситуация обусловлена тем, что это область ИТ, а там математиков нет. Впервые появилась область, где то-то надо. До этого было только мат. моделирование.

[Физик-Лирик]

А в каких компаниях и для каких задачах используется это PA? Если ты что-то predict, то ты predictive analyst?

По-моему, сейчас во всех (почти) конторах это используется. Такое название должности редко используется. Больше Дейта сайнтист, предикив моделер, маш леринг спец/сайнтист, солюшен аркитект,
Задач навалом. Посмотрите на начальную ссылку. Действительно навалом.

[RedPanda]

А в каких компаниях и для каких задачах используется это PA? Если ты что-то predict, то ты predictive analyst?

По-моему, сейчас во всех (почти) конторах это используется. Такое название должности редко используется. Больше Дейта сайнтист, предикив моделер, маш леринг спец/сайнтист, солюшен аркитект,
Задач навалом. Посмотрите на начальную ссылку. Действительно навалом.

Я сама тоже в некотором смысле predictive analyst, но испугалась, вдруг ненастоящий, как та девочка с PhD у Снежной Королевы...

[Likenew]

< https://www.udemy.com/datascience/" onclick="window.open(this.href);return false; >

[RedPanda]

< https://www.udemy.com/datascience/" onclick="window.open(this.href);return false; >

Это какой-то совсем basic course.

[flip_flop]

По-моему, мы начинаем ходить по кругу. Сн. Королева правильно объяснила разницу между "теоретическими" знаниями и практическими. Никто не говорит, что люди с профильным как тут упоминали образованием не смогут выучить. Просто время выучивания будет сильно зависит от исходных данных. На интервью "инженеров" вызывают от безысходности. Нет большого числа спецов. Область новая, универы вот только начали запускать программы. До этого только статистика была. Вы считаете, что каждый инженер хорошо математику со статистикой знает и автоматически сможет работать аналитиком? Естественно нет. Публикации вообще мало кого волнуют. Меня за все время всего несколько раз просили список показать, хотя у меня упоминание об их количестве стоит 2-3 строкой в , и я много лет работал в науке (как академической, так и индустриальной). Не является это критерием. Не знаю, куда кого зазывают, но я много прохожу интервью. Человеку на серьёзную позицию без реальных знаний трудно пройти. Не верите? У Вас взгляд на РА это "как два пальца ... (подставьте глагол, который больше нравится)". Поверьте, это абсолютно не так. Не буду утверждать, что здесь то-то сверхестественное, но поработать надо. Я уже говорил, что ситуация обусловлена тем, что это область ИТ, а там математиков нет. Впервые появилась область, где то-то надо. До этого было только мат. моделирование.

Мы таки ходим по кругу. Ну что-ж, поехали.

Самое главное моё возражение - я не говорил и не говорю о "каждом" "инженере" (условно, это может быть физик/химик и так далее), и не говорю что ПА не требует специфических знаний. Но, в то же время, по моему мнению, есть специалисты с хорошим базисным образованием в статистике и численном анализе, которые, после непродолжительного дополнительного обучения (самообучения), могут работать ПА. Как много таких специалистов и как долго им надо доучиваться - сильно зависит от исходных данных. По моим наблюдениям, чисто субьективно и выборочно, число "теоретизирующих инженеров" составляет примерно 5 % от общего числа специалистов с как минимум мастером. Я спрошу моего коллегу и приятеля, который уже год работает в роли "ПА" как долго он дополнительно самообразовывался, мне кажется пару месяцев от силы. Но до этого, много лет мы работали там , где "дышит интеграл", то есть статистика и случайные процессы, в реальных, практических, инженерных задачах. Ph.D. у него в области DSP и алгоритмов в EE.

Мне кажется Вы, со своей стороны, несколько недооцениваете "теоретизирующих инженеров". А "теоретизирующий инженер" - это звучит гордо

[flip_flop]

А в каких компаниях и для каких задачах используется это PA? Если ты что-то predict, то ты predictive analyst?

По-моему, сейчас во всех (почти) конторах это используется. Такое название должности редко используется. Больше Дейта сайнтист, предикив моделер, маш леринг спец/сайнтист, солюшен аркитект,
Задач навалом. Посмотрите на начальную ссылку. Действительно навалом.

Я сама тоже в некотором смысле predictive analyst, но испугалась, вдруг ненастоящий, как та девочка с PhD у Снежной Королевы...

Хе-хе, если у Вас нет диплома с Data Science в заглавии, то Вы таки ненастоящий ПА, увы

[RedPanda]

А в каких компаниях и для каких задачах используется это PA? Если ты что-то predict, то ты predictive analyst?

По-моему, сейчас во всех (почти) конторах это используется. Такое название должности редко используется. Больше Дейта сайнтист, предикив моделер, маш леринг спец/сайнтист, солюшен аркитект,
Задач навалом. Посмотрите на начальную ссылку. Действительно навалом.

Я сама тоже в некотором смысле predictive analyst, но испугалась, вдруг ненастоящий, как та девочка с PhD у Снежной Королевы...

Хе-хе, если у Вас нет диплома с Data Science в заглавии, то Вы таки ненастоящий ПА, увы

Да, всякие -разные есть, а такого нет. Засада

[flip_flop]

Я сама тоже в некотором смысле predictive analyst, но испугалась, вдруг ненастоящий, как та девочка с PhD у Снежной Королевы...

Хе-хе, если у Вас нет диплома с Data Science в заглавии, то Вы таки ненастоящий ПА, увы

Да, всякие -разные есть, а такого нет. Засада

С Вами всё ясно, уж извините

Развивая тему, сам Физик-Лирик, он тоже ... ПА ненастоящий. Физик-Лирик, у Вас диплом то по data science есть?

[Физик-Лирик]

Мы таки ходим по кругу. Ну что-ж, поехали.

Самое главное моё возражение - я не говорил и не говорю о "каждом" "инженере" (условно, это может быть физик/химик и так далее), и не говорю что ПА не требует специфических знаний. Но, в то же время, по моему мнению, есть специалисты с хорошим базисным образованием в статистике и численном анализе, которые, после непродолжительного дополнительного обучения (самообучения), могут работать ПА.

Думаю, теперь полный консенсус.

Развивая тему, сам Физик-Лирик, он тоже ... ПА ненастоящий. Физик-Лирик, у Вас диплом то по data science есть?

Нет у меня ничего. Да и нет таких дипломов пока. Универы лишь начали программы. Да и зачем он мне? Поиску работы не поможет. А решать задачи - их итак сейчас полно.