Data Science: skills, demand, tools, salary

[Lida]

Открою отдельный топик для вопросов/ответов.

Несколько ссылок для начала.

Вот интересный обзор рынка - от что требуется до зарплат.
https://www.youtube.com/watch?v=aEkpVr8 ... e=youtu.be

Больше всего чего не хватает народу, так это знания бизнеса. Сами по себе модели это пустой звук, если их не транслировать в конкретные бизнес действия.

from Forbes

http://www.forbes.com/sites/gilpress/20 ... rveys-say/

Специализации, которые я лично наблюдаю в командах, работающих в этой области:
- analytics technology - выбор, поддержка, построение BI платформ, ближе всего к IT. Сюда же включены технологии, позволяющие дать доступ "широким массам" - от репортинга до всяких engagement / data operations tools
- data strategy - архитектура данных, включая своих и покупных, договора с вендорами, тд
- data science / modeling - непосредственно моделирование
- business strategy / "story telling" - транслирование результатов бизнесу. В идеале хотелось бы чтобы сами моделирующие умели это делать. В реале получается очень мало у кого. ИМХО - много плюсов за разделение функций. Конечно же эти люди должны понимать статистику и модели, но не самом глубоком уровне. Бизнес стратегия - главный skill.

[Физик-Лирик]

В свое время мы эту тему неплохо пообсуждали в "Образовании" и "Работе". Хотя здесь немного народу работает.
В Вашей классификации только 3-й пункт - это data science. Все остальное - это больше бизнес-аналитикс и бизнес-интелидженс. Именно поэтому требуется знание бизнеса. А так следует различать ETL data science (типа прогон кверис) и predictive modeling/statistical modeling/machine learning.

[Diana Mamicheva]

Я переехала в Канаду в прошлом году (я на пенсии, финансово независима, могу делать, что хочу). В июле прошлого года, гуляю я по берегу моря, и вдруг меня озаряет: а хочу я вернуться в докторантуру и получить наконец свою учёную степень доктора наук в Computer Science. Если бы я была человеком религиозным, то назвала бы это revelation. Но я атеистка, так что "озарение".
Короче, с января я в Университете Виктории, на кафедре Вычислительной Техники. Аспирантка-докторантка, опять и снова. Это в 64 года. На тему: что делать на пенсии.
К чему пишу об этом здесь? Мой научный руководитель (по возрасту годится мне в сыновья) занимается Data Science. И подраздел этой самой Science будет темой моей диссертации.
Пока я только что закончила курс Data Mining (мой же руководитель и читал) и сделала курсовой проект как раз на тему предсказаний. Работала с open source tool MADlib on PostgreSQL. Похвастаюсь - А за курс, высший балл за проект, и комментарий руководителя: "Excellent work. Offers several insights."
Data Science в моде, и популярность растёт не по дням, а по часам. Alex (мой руководитель) читает этот курс раз в год. Когда начинал 4 года назад, записалось меньше 20 человек. В этом году было 200 (!!!) Курс очень сложный, предполагается знание Calculus, Algorithms, and Probability. Ну и конечно, программирование (Java, SQL, Python). После midterm, осталась половина. Но всё равно, это очень много, я думаю - 100 человек писали final.
Частью курсового (10% оценки) была презентация. Так что мы все слушали всех несколько дней подряд. На презентацию дали 5 мин, и на вопросы-ответы ещё 2 мин. Но понять, о чём проект, всё же можно было:
- Несколько проектов были на соревнования Kaggle. Очень рекомендую как тренировку. Сама собираюсь поучаствовать.
- Несколько проектов были попытками предсказания markets.
- Много работ с сырыми данными - creation and analysis of datasets. Очень полезно, если собираешься применять в бизнесе для анализа тенденций и пр.

[KotKot]

Какие курсы на Coursera порекомендуете? Я знаю, что их много, но если выбрать один, то какой?

[Diana Mamicheva]

Какие курсы на Coursera порекомендуете? Я знаю, что их много, но если выбрать один, то какой?

Machine Learning from Stanford. Я брала, понравилось. Но только если Вы не обращаете внимания на акцент - этот курс ведёт Andrew Ng, и говорит он на прекрасном английском, но с акцентом. Курс очень практический; какие самые популярные методики где применять. После нескольких лекций и пары-тройки методик Andrew заявил, что "теперь вы знаете столько же, если не больше, чем народ в Кремниевой Долине, который зарабатывает шестизначные зарплаты. Я тут живу, и таких людей знаю лично."

Я сейчас беру Algorithm: Design and Analysis, Part II, опять Stanford. Но не весь, выборочно: графы и NP-complete. Правда, они составляют большую часть курса. Начала этот курс с Первой части, опять-таки выборочно (графы), скоро заканчиваю. Курс читает Tim Roughgarden, и читает великолепно. Масса математики - леммы, теоремы, доказательства. Люблю.

Мой руководитель, когда я ему призналась, что в графах плаваю, порекомендовал Princeton, Algorithm Part II. Читает весьма известный Robert Sedgewick. Я попыталась - нет, не могу его слушать, хоть убей. Говорит медленно-медленно, запинаясь и поправляясь. И материал мне показался легковесным, почти что "инженерным", не научным. Я очень люблю математику, а в этом курсе математики почти и нет. Или мне так показалось, потому что мне Sedgewick не нравится - не знаю.

[DMAlex]

Послушал на днях webinar русского манагера по http://docs.aws.amazon.com/machine-lear ... orial.html звучит очень занимательно, учитывая простой Python API и недорогие расценки.

[FromRussiaWithLove]

Я переехала в Канаду в прошлом году (я на пенсии, финансово независима, могу делать, что хочу). ....

Так уж и переежаю на более или менее длительную резиденцию куда хочу. Помню кто-то говорил здесь о канадской пенсии.

[Lida]

В Вашей классификации только 3-й пункт - это data science. Все остальное - это больше бизнес-аналитикс и бизнес-интелидженс. Именно поэтому требуется знание бизнеса. А так следует различать ETL data science (типа прогон кверис) и predictive modeling/statistical modeling/machine learning.

Спасибо за комментарий.
Это не совсем классификация. Для того чтобы data science проекты были успешными - они должны быть тесно интегртрованы с другими skills. Именно поэтому многие компании объединяют людей в CoE. Если бизнес не увидит результата, то финансирование прекратится очень быстро даже для такого перспективного направления как data science.

[Физик-Лирик]

Основная причина столь большой популярности data science - это появление "больших данных", способов их эффективного хранения, обработки и анализа. Многие методы машинного обучения были известны давно. Но именно с развитием "железа" все стало быстро бумить в последние лет 10 , появились новые алгоритмы и направления. Специалистов мало, т.к. все приходят со знанием "ETL" и "железных" технологий. А хотя бы "азов" математики (машинного обучения, статистики) не знают. Или обратная картина (но реже). А чтобы все вместе - вот в чем изюминка.

[Физик-Лирик]

Спасибо за комментарий.
Это не совсем классификация. Для того чтобы data science проекты были успешными - они должны быть тесно интегртрованы с другими skills. Именно поэтому многие компании объединяют людей в CoE. Если бизнес не увидит результата, то финансирование прекратится очень быстро даже для такого перспективного направления как data science.

С этим я согласен на 100%. Основная проблема в том, что бизнес далеко не всегда знает (и не хочет знать), что может предложить data science. Мыслят "сиквельными" категориями.

[Diana Mamicheva]

Ещё один источник информации: http://www.quora.com
Я подписана, читаю в основном для развлечения, но полезная инфа тоже встречается.

[Нейтрина]

ЯКороче, с января я в Университете Виктории, на кафедре Вычислительной Техники. Аспирантка-докторантка, опять и снова. Это в 64 года. На тему: что делать на пенсии.

Диана, совершенно случайно заглянула в эту тему и прочитала Ваше сообщение. Какая Вы молодчина!

А у меня "озарение" никак не приходит (я, правда, немного моложе ), учиться хочу, но не уверена, чему именно. "Все такое вкусное"!

[Diana Mamicheva]

Спасибо, Нейтрина! Я, честно говоря, была удивлена всеобщей положительной реакцией на такое сумасшедшее решение. Абсолютно все, - мои дети, друзья, знакомые, и даже случайно встреченные (например, в последнем круизе) реагируют одинаково: "Good for you!"

Решение было абсолютно спонтанное. Я даже знаю точное место (близко от дома), где меня озарило. Может быть, "пришло из глубин подсознания"; я в психологии не разбираюсь. Удивляюсь до сих пор. Ничего подобного я не планировала, хотя пенсию планировала годами.

Самое интересное: всё пошло как по маслу; всё немедленно начало получаться с момента принятия решения:
- моя бывшая руководительница всё ещё в университете (но уходит на пенсию этим летом);
- она нашла мне нового руководителя и немедленно написала декану;
- все мои документы нашлись, хотя прошло 18 лет с тех пор, как я бросила учиться;
- и меня "восстановили" (re-instated) со всеми кредитами за когда-то взятые курсы.
Последнее вообще на грани чуда, потому что в Computer Science уже 10 лет - слишком долгий срок, и всё нужно пересдавать.

В общем - нужно верить в чудеса!

[Нейтрина]

Диана, здорово, что так все получилось!

И правда, удивительно, что курсы перезачли - я тут поузнавала, сказали, через 5 лет все протухает.

Дальнейших Вам удач и успехов!

[Lida]

Диана, успехов вам!

[KotKot]

Диана, а вам не лень? Если бы я был финансово независимым, я бы писал плохие книги и плохую музыку. Может быть открыл бы модельное агентство, хехе (но даже это было бы лень сделать я думаю).

Data science это удовольствие сомнительное. Проставлять запятые в коде, чтобы ни одной ошибки не было, сверять цифры. Даже китайцы вряд ли получают от этого удовольствие, разве что только самые извращенные из них.

[Diana Mamicheva]

Диана, а вам не лень? Если бы я был финансово независимым, я бы писал плохие книги и плохую музыку. Может быть открыл бы модельное агентство, хехе (но даже это было бы лень сделать я думаю).

Я тоже так думала, КотКот. Ну точка в точку, даже о книге подумывала... Но больше всего о ничегонеделании и путешествиях. Вышла на пенсию в 61 год, как только осознала, что денег хватит до конца жизни на скромную, но достойную жизнь (заработала 5 пенсий + кое-что отложила на "излишества"). Путешествовала почти без передышки 3 года; мой лист стран, которые посетила, включает 81 страну.
Переехала в самый красивый город мира, Викторию (поверьте мне, действительно самый красивый в мире - я видела сотни городов). И вдруг! Гуляю себе по берегу моря, любуюсь изумительными видами, и осознаю - я хочу вернуться в университет, я хочу докторскую степень (pure vanity, I do not need it), я хочу в академическую среду, я хочу общаться с учёными.

И вот я тут, в академии, и абсолютно счастлива. Как-то всё тут "моё", и невероятно везёт к тому же: за что ни возьмусь, всё получается. Например, меня выбрали в сенаторы. Тут, наверно, надо объяснить - у нас в Британской Колумбии есть закон, по которому каждый университет должен управляться сенатом. Это как бы высший законодательный орган университета, который принимает/утверждает все решения по университетской жизни. В сенате 72 человека, большинство не сенаторы, но участвуют в обсуждении и голосовании по причине должности: например, все деканы, главный библиотекарь и прочее. А есть сенаторы, которые избираются на определённый срок, в их числе 16 студентов/аспирантов. Я одна из 16-ти. Дети зовут меня теперь Madam Senator. А соседи, которые англичане из Лондона, в детстве изучали латынь. Они мне объяснили, что хотя в Древнем Риме женщин-сенаторов не было и быть не могло, но если бы были, то по латыни их звали бы "сенатора"; так они меня теперь и зовут.

Я ещё не сенатор, только что избрали, а срок службы начнётся с 1 июля. Уже знаю, в каком комитете буду заседать - Honorable Degrees and Other Awards. Я надеюсь, это значит, встречаться с неординарными людьми; я толком не знаю, как это работает. Но неординарные люди - это, по-моему, самое интересное на этой планете.

Нет, совсем не лень. Мне достаточно было трёх лет sabbatical, чтобы отдохнуть от работы, которую делаешь потому, что надо. А делать то, что нравится, и не может быть лень, нет?

[Нейтрина]

Диана, просто здорово! Завидую самой белой завистью

Мне что-то вспомнился мой самый любимый предмет в институте: гидромеханика. Как же я ее обожала! Чуть ли не цветочками свою тетрадку с конспектами разукрашивала. Никто меня не понимал...

[Физик-Лирик]

Мне что-то вспомнился мой самый любимый предмет в институте: гидромеханика. Как же я ее обожала! Чуть ли не цветочками свою тетрадку с конспектами разукрашивала. Никто меня не понимал...

Можете начать обсуждать со мной. Обещаю, я Вас пойму.

[Нейтрина]

Спасибо, ценю Вашу доброту, но, к сожалению, очень сильно опасаюсь, что не смогу поддержать беседу на должном уровне. Сослалась бы на старость-не-радость, если бы не пример Дианы

Так что сошлюсь на более общий момент: много, мол, воды утекло с тех пор...

[Физик-Лирик]

много, мол, воды утекло с тех пор...

А говорили, что забыли.

[Нейтрина]

вот помню звон, но не помню, о чем (только что сочинила, между прочим)

[x.angie]

Machine Learning from Stanford. Я брала, понравилось. Но только если Вы не обращаете внимания на акцент - этот курс ведёт Andrew Ng, и говорит он на прекрасном английском, но с акцентом. Курс очень практический; какие самые популярные методики где применять. После нескольких лекций и пары-тройки методик Andrew заявил, что "теперь вы знаете столько же, если не больше, чем народ в Кремниевой Долине, который зарабатывает шестизначные зарплаты. Я тут живу, и таких людей знаю лично."

Тоже, когда проходил этот курс, фраза резанула ухо. Я курс проходил два раза, ml-002 и ml-008. В перый раз (год так 2012й или 2013й) как-то не обратил внимание на это, тема сравнительно недавно пошла в народ. Второй же раз как-то уже было странновато слышать это. Ведь маркет в Долине сильно competitive. Народ до сих пор зарабатывает шестизначные зарплаты в Долине, зная только пару-тройку основных методик? Даже не SVM?

Думаю что лекции не менялись с тех пор, и эту фразу можно игнорировать.

[Физик-Лирик]

Даже не SVM?

А что, это является абсолютным критерием познания?

[Lida]

Ведь маркет в Долине сильно competitive.

Тенденции меняются сейчас. Если пару-тройку лет назад, Data Science в основном был в стартапах и в Долине ... то сейчас все больше и больше распространяется по корпоративному миру в других регионах США. Рост позиций и зарплат за последний год как раз больше вне Долины.