predictive analytics

[Sergunka]

их Watson что-ли?

У IBM - Да. У остальных даже железа нет, только блаженные phd, которые блеют про нейросеть животворящую.

Смачно засадил с ноги

"Правой пяткой в левый глаз" (с) дворовая присказка

[tessob]

С таким взглядом на вещи смачно с ноги ему засядят рекрутеры и компании в которые он будет интервьюироваться

Во-первых я контрактор и уже лет 7-8 с ними не разговариваю, а во-вторых мне всегда было важно мнение людей, которые зарабатывают в месяц столько же, сколько я за день... или за два. Правда-правда!

[Think_Different]

С таким взглядом на вещи смачно с ноги ему засядят рекрутеры и компании в которые он будет интервьюироваться

Во-первых я контрактор и уже лет 7-8 с ними не разговариваю, а во-вторых мне всегда было важно мнение людей, которые зарабатывают в месяц столько же, сколько я за день... или за два. Правда-правда!

вы хотите удивить меня своей зар платой? ну давайте, поиграем в эту увлекательную игру

[tessob]

Think_Different, отнюдь. Я не собираюсь Вас ничем удивлять. Не комплексуйте.

[Think_Different]

Спасибо, что уберегли от шока

[John Smith]

It recruiters где то 35К в год рубят. Если tessob зарабатывает в день столько сколько они за месяц - то это очень, очень неплохо

[jobminer]

Статистик-методолог, decisionmetrist в первую очередь,
data scientist и алгоритмист - во вторую.

Если использовать такие названия (кроме дейта сайнтиста), то можно очень долго искать. Особенно понравились первые два
Напишите подробнее, чем конкретно занимаетесь и что конкретно ищите. Тогда можно будет советовать. Например, интересуетесь машинным обучением, временными рядами, Баесовским ризонингом (интересно, а как это по-русски будет ), графическими моделями/нетворком, эконометрикой, анализом данных, статистическим анализом, дейта инжинирингом (правда, это уже не аналитика). Дайте больше конкретики. Какие языки и платформы. Есть ли опыт с Большими Данными.

Языки: Программирую на stata, R (in-database modelling SQL Server 2016), spss statistics (сертификат), python (statsmodels, scikits-learn, pandas).
Хорошо работаю на платформе IBM Modeler (сертификат)
Стараюсь на километр к себе не подпускать java, scala и т.д.

Преподаю: многомерный анализ, задачи классификации, анализ панельных данных, глубокая диагностика моделей, расчёт выборки и анализ мощности, частично эконометрику.

Опыт с большими данными - ... насколько большими? миллионы транзакций - это много?
Опыт работы с BigData - платформа Hortonworks + Spark, интерфейс Pyspark, IBM Modeler+analytic server.

Интересуюсь: разработка некоторых алгоритмов data mining - с переменным успехом разработаны.

Решения: PMQ, application scoring, оптимизация мерчандайзинга гипермаркета, aCRM и много всяких исследований.

[jobminer]

Я тоже прифигела, когда прочитала decisionmetrist такие слова в резюме писать нельзя.

Не собирался писать здесь резюме.
Так что не вижу повода для обстёба.

[jobminer]

По поводу разницы между ML и PA.
Изначально, давно ещё, когда в моде была кибернетика, "машинное обучение" использовался как термин для обозначения человеко-подобного обучения с помощью статистики. Сейчас этот термин употребляют часто небрежно, налево и направо, что также является результатом маркетинговой пропаганды как и "прогнозная аналитика".
Если представить ситуацию, где нужно прогнозную модель встроить в сервер принятия решений, то это будет, имхо, корректное использование термина. Нейросети легко подпадают под эту категорию.

Если же прогнозную модель необходимо интерпретировать, вытягивать из них эвристику, то все действия аналитика правильнее отнести к прогнозной аналитике.
Прогнозную аналитику (прогнозный BI), ставят в один ряд с описательным и предписательным BI - и да, это предмет бизнесовой пропаганды со стороны крупных вендоров платформ. Но это не отменяет корректность термина. Просто не стоит отождествлять прогнозную аналитику как направление деятельности с прогнозной моделью, к которой можно отнести хоть даже расчёт доверительных интервалов для биномиальной пропорции.

Если мы делаем решение для прогнозного ремонта и обслуживания, то это скорее всего будет машинное обучение.
Если мы оцениваем рынок в следующем году для разработки гибких бюджетов, то это наверняка прогнозная аналитика.

[tessob]

оптимизация мерчандайзинга гипермаркета

Простите, но гипермаркеты не занимаются решением этой задачи. Это "боль и страдания" дистрибуторов. Разные cost-функции. Гипермаркеты продают мощность.

Если представить ситуацию, где нужно прогнозную модель встроить в сервер принятия решений, то это будет, имхо, корректное использование термина. Нейросети легко подпадают под эту категорию

Стараюсь на километр к себе не подпускать java, scala и т.д.

Think_Different, Вы все еще считаете, что моя сентенция про блаженных phd ломает именно мою карьеру?

Если мы делаем решение для прогнозного ремонта и обслуживания, то это скорее всего будет машинное обучение.

Поделитесь пожалуйста хоть одним success story? Я пока не встретил ни одной на реальных данных.

з.ы. Прошу не банить до конца эфира.

[_reality]

Стараюсь на километр к себе не подпускать java, scala и т.д.

Тогда расслабьтесь, сидеть в Москве вам еще очень долго

[jobminer]

Стараюсь на километр к себе не подпускать java, scala и т.д.

Тогда расслабьтесь, сидеть в Москве вам еще очень долго

Изначально писал, что не программирую. Пост про работу в прогнозной аналитике, а не про java-программирование.
Злобствование оставьте при себе.

[jobminer]

оптимизация мерчандайзинга гипермаркета

Простите, но гипермаркеты не занимаются решением этой задачи. Это "боль и страдания" дистрибуторов. Разные cost-функции. Гипермаркеты продают мощность.

Вы можете мне не верить.

Если мы делаем решение для прогнозного ремонта и обслуживания, то это скорее всего будет машинное обучение.

Поделитесь пожалуйста хоть одним success story? Я пока не встретил ни одной на реальных данных.

Заходите в скайп, поделюсь.

[Физик-Лирик]

Языки: Программирую на stata, R (in-database modelling SQL Server 2016), spss statistics (сертификат), python (statsmodels, scikits-learn, pandas).
Хорошо работаю на платформе IBM Modeler (сертификат)
Стараюсь на километр к себе не подпускать java, scala и т.д.

Преподаю: многомерный анализ, задачи классификации, анализ панельных данных, глубокая диагностика моделей, расчёт выборки и анализ мощности, частично эконометрику.

Опыт с большими данными - ... насколько большими? миллионы транзакций - это много?
Опыт работы с BigData - платформа Hortonworks + Spark, интерфейс Pyspark, IBM Modeler+analytic server.

Интересуюсь: разработка некоторых алгоритмов data mining - с переменным успехом разработаны.

Решения: PMQ, application scoring, оптимизация мерчандайзинга гипермаркета, aCRM и много всяких исследований.

Набор хороший; именно то, что сейчас востребовано. На мой субъективный взгляд, statsmodels как то не очень востребован. Скорее NumPy к указанным выше питоновским пакетам.
На счет "на километр", не стоит так горячиться, особенно, если будут интервью. И хотя при работе на Спарке Вы используете Питон, все-таки Скала более распространена (опять, мое субъективное мнение). Не стоит задевать "чувства" других Биг Дейта - это скорее не объем данных, а философия. Стандарт сейчас - это Хадуп со Спарком, Пиг, Хайф, может "вода" и "игристая вода" ; далее идут библиотеки типа MLLib.
Про преподавание не стоит упоминать (где Вы преподаёт, в институте?) либо упоминать вскользь (иначе, будет рассматриваться как отягчающий момент).
Если Вы лично разработали какие-либо алгоритмы (или есть публикации), то в некоторых конторах это приветствуется. Однако с публикациями надо быть осторожнее (в смысле, в большинстве мест это скорее минус).
Короче, судя по Вашему описанию это область дейта сайнса с упором на машинное обучение предикатов аналитикс. Сейчас востребовано, особенно на западном побережье.

Я тоже прифигела, когда прочитала decisionmetrist такие слова в резюме писать нельзя.

Не собирался писать здесь резюме.
Так что не вижу повода для обстёба.

На самом деле, стеба тут нет. Просто Вы упоминаете термины, которые здесь не используются. Одно дело, выложить их на форуме, совсем другое - в резюме или на интервью.

[Физик-Лирик]

оптимизация мерчандайзинга гипермаркета

Простите, но гипермаркеты не занимаются решением этой задачи. Это "боль и страдания" дистрибуторов. Разные cost-функции. Гипермаркеты продают мощность.

Вы можете мне не верить.

Заходите в скайп, поделюсь.

На самом деле, при сегодняшнем "зацикливании" бизнеса на аналитике (типа, мы все сейчас аналитические компании), "магазины" чем угодно занимаются. Началось все с алгоритмов по рекомендациям, а вот чем закончится - неизвестно.

Вопрос автору толика. А что в Москве так трудно найти работу статистика/аналитика? Я относительно недавно имел разговоры с москвичами из этой области ... как-то народ уверенно держится.

[jobminer]

Соглашусь, что decisionmetrics - узкий и нераспропагандированный термин.
Тем не менее. Есть экономика, практические приложения статистики - эконометрика.
Но в эконометрике мы оперируем данными макро- и мезо- уровня.
А если в бизнесе мы оперируем данными микро-уровня, которые создают основу для принятия бизнес-решений. Не решения какого-нибудь скоринг-сервера, а именно управленческого мозга. Сценарный анализ на основе прогнозной аналитики, от которого пляшет вся вертикаль стратегических, операционных, финансовых и прочих решений - в комплексе - это decisionmetrics.
У химиков - chemometrics, у психологов psychometrics. Никто в обморок не падает. Ну... бывает)

Касаемо пайтона. Из всех пакетов, которые претендуют на какую-то зрелость - Scikits-learn. Pandas - попытка создать интерфейс статистического ПО, Statsmodels - похож на output Stata, при этом неразвит. Ну зачем использовать незрелый софт для серьёзных вещей? Я люблю python. Мне приятно с ним работать. Но делать анализ данных в нём ... не тянет он на исследовательский инструмент.
Stata - лучше неё ничего нет. Зрелый продукт, отличный движок, вычисления в памяти, отличный набор процедур, сэмплинг, байес, робастные оценки, матричный язык вдобавок. Да много чего. Но она не позиционируется в корпоративном сегменте. Отсюда и зарплаты невысокие, и рынок узкий.

Scala - противоположная история. Я вообще не понимаю что она делает в анализе данных. Интерфейс к спарку? Есть pyspark. Я не могу это "купить", потому что не вижу ни одного преимущества для меня как аналитика. Scala - как раз продукт для теоретиков программирования. Каким чудом он пробился в enterprise...

Тем не менее, хотелось бы холивары оставить за рамками. Я сам втягиваюсь в эти рассуждения, хотя ситуация проста: распределение зарплат по прогнозной аналитике хорошее, не хуже чем у scala+java. Но объём рынка маленький и получить контракт без ГК должно быть гораздо сложнее.

[jobminer]

оптимизация мерчандайзинга гипермаркета

Простите, но гипермаркеты не занимаются решением этой задачи. Это "боль и страдания" дистрибуторов. Разные cost-функции. Гипермаркеты продают мощность.

Вы можете мне не верить.

Заходите в скайп, поделюсь.

На самом деле, при сегодняшнем "зацикливании" бизнеса на аналитике (типа, мы все сейчас аналитические компании), "магазины" чем угодно занимаются. Началось все с алгоритмов по рекомендациям, а вот чем закончится - неизвестно.

Вопрос автору толика. А что в Москве так трудно найти работу статистика/аналитика? Я относительно недавно имел разговоры с москвичами из этой области ... как-то народ уверенно держится.

Я тут не сижу без работы. Но мне нужно Туда.

[Kolbasoff]

Я тут не сижу без работы. Но мне нужно Туда.

Тогда надо торопиться, очередная раздача слонов ака H1B начинается 1 Апреля и обычно быстро завершается, но что в этот раз будет не ясно, тут Трампец разбуянился не на шутку. Или на L1A как гениальный-суперуспешный менагер ну или лауреат филдсовской премии на худой конец.

А так народ дело говорит - если нет кого-то кто вас знает лично, а вы идете "с улицы", то резюме должно быть набито понятными местному люду терминами и описанием решенных задач. Можно поискать публичные резюме местных на индиде и линкедине и оформить свое в таком же стиле. Если вы не имеете контактов с нанимающими менагерами и/или нет кого-то кто занесет ваше резюме на стол нанимающему менагеру, то придется прорываться через рекрутеров, а это публика которая вообще мало что понимает в чем-то, а реагирует только на ключевые слова.

[Sergunka]

Статистик-методолог, decisionmetrist в первую очередь,
data scientist и алгоритмист - во вторую.

Если использовать такие названия (кроме дейта сайнтиста), то можно очень долго искать. Особенно понравились первые два
Напишите подробнее, чем конкретно занимаетесь и что конкретно ищите. Тогда можно будет советовать. Например, интересуетесь машинным обучением, временными рядами, Баесовским ризонингом (интересно, а как это по-русски будет ), графическими моделями/нетворком, эконометрикой, анализом данных, статистическим анализом, дейта инжинирингом (правда, это уже не аналитика). Дайте больше конкретики. Какие языки и платформы. Есть ли опыт с Большими Данными.

Языки: Программирую на stata, R (in-database modelling SQL Server 2016), spss statistics (сертификат), python (statsmodels, scikits-learn, pandas).
Хорошо работаю на платформе IBM Modeler (сертификат)
Стараюсь на километр к себе не подпускать java, scala и т.д.

Преподаю: многомерный анализ, задачи классификации, анализ панельных данных, глубокая диагностика моделей, расчёт выборки и анализ мощности, частично эконометрику.

Опыт с большими данными - ... насколько большими? миллионы транзакций - это много?
Опыт работы с BigData - платформа Hortonworks + Spark, интерфейс Pyspark, IBM Modeler+analytic server.

Интересуюсь: разработка некоторых алгоритмов data mining - с переменным успехом разработаны.

Решения: PMQ, application scoring, оптимизация мерчандайзинга гипермаркета, aCRM и много всяких исследований.

Здесь только сиськи помогут



Вот типо такие

[Komissar]

Здесь только сиськи помогут



Вот типо такие

губы тоже зачетные, сразу видно, не только на бананах тренировалась

[Sergunka]

Бро,

Зацени как простой доцент из Плешки путешествует

Executive MBA, Oxford (2015-2017)
Machine Learning Summer School 2015, Kyoto, Japan
International Computer Vision Summer School 2015, Sicily, Italy
Winter School in Myorobotics, Cambridge, UK
International Computer Vision Summer School 2014, Sicily, Italy
Social Human-Robot Interaction Summer School 2013, Cambridge, UK

Наша сила в наших сиськах!

[tessob]

Простите, но гипермаркеты не занимаются решением этой задачи. Это "боль и страдания" дистрибуторов. Разные cost-функции. Гипермаркеты продают мощность.

Вы можете мне не верить.
Заходите в скайп, поделюсь.

На самом деле, при сегодняшнем "зацикливании" бизнеса на аналитике (типа, мы все сейчас аналитические компании), "магазины" чем угодно занимаются. Началось все с алгоритмов по рекомендациям, а вот чем закончится - неизвестно.

Я думаю, что все закончится очередной(ным) AI winter. Слишком много сейчас на рынке стало продавцов волшебных эликсиров. Не знаю как в Штатах, а Европе похоже что пик интереса к ML уже проходит. По крайней мере, вакансии сейчас совсем бредовые пошли. Буквально вчера прислали от стартапа, который собирается предсказывать исход судебных процессов на основе ML. И если проанализировать рынок труда, то продолжают набирать только: банки, инет-реклама, it-стартапы. Что-то похожее было несколько лет назад с quantitative trading, а потом неожиданно выяснилось, что одной только математики недостаточно и ажиотаж ушел вместе с инвестициями. Там, правда, phd не по математике, а по физике больше котировались.

И, по хорошему, если бы автор в самом деле хорошо разбирался в ритейле, ремонтах и бюджетах, то у него была бы совсем другая проблема - как сделать так, чтоб они уже перестали звонить и писать. Я же не просто так попросил показать хоть один success story по ремонтам. Просто эта задача может хорошо решаться в теории или на стенде, но на практике никто еще ничего вменяемого не показал. Просто потому, что нужно решить две сложные задачи. Первая - нужно как-то классифицировать состояние оборудования. С учетом того, что есть куча разных состояний исправности и куча состояний для каждой неисправности, которых тоже куча. С состояниями исправности все более или менее понятно, но откуда брать состояния неисправности мне пока никто внятно не объяснил. Далее, вторая задача - функция деградации. Тут пока тоже никто не дал ответа как зайти в одну воду дважды. Как без этого что-то предсказывать мне не понятно.

А магазины, как и в предыдущие сотни лет, так и будут продавать мощность. К сожалению, большинство людей не понимают, что магазины не торгуют товаром. Магазины торгуют широтой ассортимента, светлыми и чистыми торговыми залами, холодом в холодильниках, улыбками кассирш, местоположением. И оптимизируют они продажи в единицу времени.

[Физик-Лирик]

Соглашусь, что decisionmetrics - узкий и нераспропагандированный термин.
Тем не менее. Есть экономика, практические приложения статистики - эконометрика.

Касаемо пайтона. Из всех пакетов, которые претендуют на какую-то зрелость - Scikits-learn. Pandas - попытка создать интерфейс статистического ПО, Statsmodels - похож на output Stata, при этом неразвит. Ну зачем использовать незрелый софт для серьёзных вещей? Я люблю python. Мне приятно с ним работать. Но делать анализ данных в нём ... не тянет он на исследовательский инструмент.
Scala - противоположная история. Я вообще не понимаю что она делает в анализе данных. Интерфейс к спарку? Есть pyspark. Я не могу это "купить", потому что не вижу ни одного преимущества для меня как аналитика. Scala - как раз продукт для теоретиков программирования. Каким чудом он пробился в enterprise...

Я не видел такого термина на практике (хотя, может он и используется в областях, где я не работаю).
Сейчас в аналитике два основных тренда: использование опен соурс и Биг дейта. Если я не ошибаюсь, язык, который Вы предпочитаете, не к одному и не к другому не относится. Наибольшее распространение в аналитике имеют R и Питон. Из Биг дейты - Спарк. Скала очень сильно повышает эффективность программирования (наверное, из-за своей функциональной философии). Ничего против Питона/Спарка не имею, но мне кажется, что пара Скала/Спарк более распространена. Я не знаю, что имеется в виду под "преимуществом для аналитика", но пакетов R более чем достаточно для любой аналитики (безусловно, статус опен соурс имеет свои моменты по сравнению с коммерческим софтом). Из больших библиотек - пока в основном Спарк. Но это только пока.

[Физик-Лирик]

По поводу разницы между ML и PA.
Изначально, давно ещё, когда в моде была кибернетика, "машинное обучение" использовался как термин для обозначения человеко-подобного обучения с помощью статистики. Сейчас этот термин употребляют часто небрежно, налево и направо, что также является результатом маркетинговой пропаганды как и "прогнозная аналитика".
Если представить ситуацию, где нужно прогнозную модель встроить в сервер принятия решений, то это будет, имхо, корректное использование термина. Нейросети легко подпадают под эту категорию.

Если же прогнозную модель необходимо интерпретировать, вытягивать из них эвристику, то все действия аналитика правильнее отнести к прогнозной аналитике.
Прогнозную аналитику (прогнозный BI), ставят в один ряд с описательным и предписательным BI - и да, это предмет бизнесовой пропаганды со стороны крупных вендоров платформ. Но это не отменяет корректность термина. Просто не стоит отождествлять прогнозную аналитику как направление деятельности с прогнозной моделью, к которой можно отнести хоть даже расчёт доверительных интервалов для биномиальной пропорции.

Если мы делаем решение для прогнозного ремонта и обслуживания, то это скорее всего будет машинное обучение.
Если мы оцениваем рынок в следующем году для разработки гибких бюджетов, то это наверняка прогнозная аналитика.

Надену шапку predictive аналитика: Если вы таки пройдёте отсев резюме и получите интервью, и будете такими словами разговаривать на интервью, то вы его завалите.

Вы вообще читаете блоги, reddit etc?

Я не вижу в предиктив аналитике никакой бизнес пропаганды. Термин "машинное обучение" сейчас очень устойчив. Честно говоря, никакой небрежности я тоже не вижу. Просто термин объединяет определённый набор алгоритмов и методику использования для решения бизнес задач. Однако, я ссылаюсь на профессиональное сообщество, а не "рекрутеров или маркетологов", которые используют термин для продажи. Другими словами, машинное обучение - это инструмент и методология. Другое дело, сейчас мода на аналитику. Отсюда и кажущаяся бизнес пропаганда. Но что тут поделать.

Согласен, что разговаривать такими словами на интервью может быть не самым удачным опытом. Забавно, но русские варианты терминов (типа "доверительных интервалов биномиальной пропорции") мне уже режут ухо. Нет, все правильно, но звучит "странно". Мне уже привычней просто по-русски писать английские термины. Вот дожил.

[jobminer]

Дело в том, что на начальном этапе никому неинтересно что именно вы делаете. Ваша задача состоит в том, чтобы пройти отсев рекрутеров. Для этого рассмотрим два взаимоисключающих множества buzzwords: первые надо включать в резюме, вторые - не надо.

Не надо включать: Stata, SPSS, IBM miner, analytics server, decisionmetrist, "не хочу-не буду учить скалу, есть же pyspark".

Надо включать: выложите ваше резюме, иначе непонятно.

И я не стебусь ни разу если что.

Я вообще не планирую разговаривать с тем, кому не интересно, что именно я делаю, ни на каком этапе.
Разговор с рекрутёрами, резюме и прочие вещи - это отпадает сразу. Какой смысл разговаривать с деревьями? Тем более, что это не деревья решений.

Ничего против Питона/Спарка не имею, но мне кажется, что пара Скала/Спарк более распространена. Я не знаю, что имеется в виду под "преимуществом для аналитика", но пакетов R более чем достаточно для любой аналитики (безусловно, статус опен соурс имеет свои моменты по сравнению с коммерческим софтом). Из больших библиотек - пока в основном Спарк. Но это только пока.

Касаемо ширпотреба java-scala - я предлагаю работодателю качественное, но нишевое решение. И это надо обсуждать предметно с теми, кто в теме. Конечно это вдвойне сложно делать отсюда, но буду пытаться. Я подумаю, как лучше сделать.