Data Science: skills, demand, tools, salary

[x.angie]

Даже не SVM?

А что, это является абсолютным критерием познания?

Да, но нет.

[Физик-Лирик]

Ведь маркет в Долине сильно competitive.

Тенденции меняются сейчас. Если пару-тройку лет назад, Data Science в основном был в стартапах и в Долине ... то сейчас все больше и больше распространяется по корпоративному миру в других регионах США. Рост позиций и зарплат за последний год как раз больше вне Долины.

+100, хотя большинство все еще в Кали.

Даже не SVM?

А что, это является абсолютным критерием познания?

Да, но нет.

Там теория очень красивая.

[FromRussiaWithLove]

Диана, а вам не лень? Если бы я был финансово независимым, я бы писал плохие книги и плохую музыку. Может быть открыл бы модельное агентство, хехе (но даже это было бы лень сделать я думаю).

Я тоже так думала, КотКот. Ну точка в точку, даже о книге подумывала... Но больше всего о ничегонеделании и путешествиях. Вышла на пенсию в 61 год, как только осознала, что денег хватит до конца жизни на скромную, но достойную жизнь (заработала 5 пенсий + кое-что отложила на "излишества"). Путешествовала почти без передышки 3 года; мой лист стран, которые посетила, включает 81 страну.
Переехала в самый красивый город мира, Викторию (поверьте мне, действительно самый красивый в мире - я видела сотни городов). И вдруг! Гуляю себе по берегу моря, любуюсь изумительными видами, и осознаю - я хочу вернуться в университет, я хочу докторскую степень (пуре ваниты, И до нот неед ит), я хочу в академическую среду, я хочу общаться с учёными.
...
Нет, совсем не лень. Мне достаточно было трёх лет саббатицал, чтобы отдохнуть от работы, которую делаешь потому, что надо. А делать то, что нравится, и не может быть лень, нет?

Лет здоровой активной жизни осталось мало что-бы погружаться на 99% в рутинную учебу даже если ето очень нравится. Етим можно занятся и в 70 и в 80 лет, выход (практический) будет абсолютно тем же. Если так хочется то получение полного профессионального образования можно сохранить растянуть етак лет 20 как хобби для тренировки остроты ума для будушего научного/технического самосовершенствования в более старом возрасте. Впрочем работа в студсовете с людьми может быть очень интересной и плодотворной (хотел найти другое слово но не смог спомнить, наверно приближается Альцгеймер, вспомнил по случаю Still Alice). Удачи

[photon]

что-бы погружаться на 99% в рутинную учебу

PhD это не совсем рутинная учеба. Это работа. Работа где учишься новому и делаешь дело, с маленькой зарплатой. Но зато и работа может быть очень интересной, где занимаешься именно тем чем сам захотел. Где есть возможность решать большИе задачи, за которые бизнес совсем не всегда берется.

[Физик-Лирик]

что-бы погружаться на 99% в рутинную учебу

Но зато и работа может быть очень интересной, где занимаешься именно тем чем сам захотел. Где есть возможность решать большИе задачи, за которые бизнес совсем не всегда берется.

Это очень спорное утверждение. Если брать аспирантов, то решаются задачи, интересующие научного руководителя. В индустрии решаются задачи, интересующие бизнес. Все это замечательно, но не относится к категории "занимаешься именно тем чем сам захотел". Остается свободное время, чтобы творить. Проблема в том, что в науке трудно творить в одиночку. Нужна творческая среда, обмен мнениями, дискуссии. После того, как аспирантура закончится, среды уже не будет.

[Физик-Лирик]

Лет здоровой активной жизни осталось мало что-бы погружаться на 99% в рутинную учебу даже если ето очень нравится.)

А что есть "здоровой активной"? По-моему, делать то, что нравится, и есть "здоровой активной".

[FromRussiaWithLove]

Лет здоровой активной жизни осталось мало что-бы погружаться на 99% в рутинную учебу даже если ето очень нравится.)

А что есть "здоровой активной"? По-моему, делать то, что нравится, и есть "здоровой активной".

Вы молодой или достаточно молодой и видно еше не представляете физическую и умственную форму человека в 65, 70 ,75 лет далее ... Рутинно учится, учится и учится да еше еше напряженно несколько лет ради чего. Ето не пора серьезного ученья, хотя впрочем ничего не имею против продолжения плодотворной работы по призванию, обучения молодежи a еше больше обшественной и волонтерской работы. Никто не знает как здоровье повернется уже каждый год идет за несколько лет а не так когда было все впереди, недаром я упоминул Still Alice

[Физик-Лирик]

Вы молодой или достаточно молодой и видно еше не представляете физическую и умственную форму человека в 65, 70 ,75 лет далее ...

Я как бы и не спорил. Просто моя точка зрения такова, что (любой) человек всю свою жизнь пытается уйти от скуки, насколько это возможно. Поэтому любое хобби этому способствует. На самом деле я поэтому и задавал вопрос, что такое здоровый и активный образ жизни.

[Annetta]

Лет здоровой активной жизни осталось мало что-бы погружаться на 99% в рутинную учебу даже если ето очень нравится.)

А что есть "здоровой активной"? По-моему, делать то, что нравится, и есть "здоровой активной".

Вы молодой или достаточно молодой и видно еше не представляете физическую и умственную форму человека в 65, 70 ,75 лет далее ... Рутинно учится, учится и учится да еше еше напряженно несколько лет ради чего. Ето не пора серьезного ученья, хотя впрочем ничего не имею против продолжения плодотворной работы по призванию, обучения молодежи a еше больше обшественной и волонтерской работы. Никто не знает как здоровье повернется уже каждый год идет за несколько лет а не так когда было все впереди, недаром я упоминул Still Alice

Учиться, я так понимаю, ради интереса. А что тут такого?

[Diana Mamicheva]

Лет здоровой активной жизни осталось мало что-бы погружаться на 99% в рутинную учебу даже если ето очень нравится.)

А что есть "здоровой активной"? По-моему, делать то, что нравится, и есть "здоровой активной".

Вы молодой или достаточно молодой и видно еше не представляете физическую и умственную форму человека в 65, 70 ,75 лет далее ... Рутинно учится, учится и учится да еше еше напряженно несколько лет ради чего. Ето не пора серьезного ученья, хотя впрочем ничего не имею против продолжения плодотворной работы по призванию, обучения молодежи a еше больше обшественной и волонтерской работы. Никто не знает как здоровье повернется уже каждый год идет за несколько лет а не так когда было все впереди, недаром я упоминул Still Alice

Мне 65 в августе будет. Чувствую ли я свой возраст физически? Пока нет. Двигаюсь так же быстро, как всегда; я вообще очень быстрая. Примчусь из школы, портфель летит в одну сторону, школьная форма немедленно заменяется на нормальную одежду, бутерброд сам собой сооружается в мгновение ока, и я уже у двери, жуя бутерброд и сообщая бабушке, куда мне немедленно нужно отправляться. Бабушка, бывало, вздыхала и говорила: "Как Мамай прошёл."
Умственная форма? Да, пожалуй, помедленнее стала соображать. IQ только 130. Это очень хорошо для моего возраста - я где-то в top 2%. Но вот по сравнению с молодыми уже только в top 5%. В Mensa точно не попасть... Да и за Data Mining получила только А, а не А+
Интересно, что я даже не самая старая аспирантка на кафедре. Мой руководитель только что сообщил мне, что у него есть 67-летний аспирант. Та же ситуация, что и у меня - финансовая независимость, а учится потому что нравится.

[Физик-Лирик]

По моему, все вполне логично. Если деятельность (любая) приносит удовольствие, то ей стоит заниматься. Практично или нет? А многие хобби тоже не всегда практичны. Возможно, докторская степень, будь она получена 20 лет назад, принесла бы больше денег, но это уже другой вопрос.

[notknown]

Diana, здорово!

[ingo]

Диана, а кем вы были до пенсии?

[Diana Mamicheva]

Диана, а кем вы были до пенсии?

VP in Citigroup. And principal consultant in Oracle before that.

[ingo]

You're so impressive

[Annetta]

Diana, вы такая молодец!
По-моему, это очень здорово, заняться интересным и любимым делом, раз и возможности позволяют. Удачи вам и успехов
Вы работали тоже по IT/Computer Science, программистом? Направление для вас не совсем новое?

[Kolbasoff]

Даешь каждой бабусе по PhD! А идея пойти учиться хорошая. Не уверен про PhD, все-таки это опять сидеть пялиться в экран по многу часов в день. Но надо подумать, может есть part-time PhD растянутый лет на 10.

[Diana Mamicheva]

Cпасибо всем за пожелания успехов. Только сегодня получила задание от руководителя, надо браться за науку вплотную: data mining using the notion of k-core (a relaxation of clique). Буду писать статью, наверно, для конференции.
Лида, простите великодушно, что свернула в сторону теории в Вашей теме. Вы хотели обсудить практические аспекты, как я понимаю.

[Физик-Лирик]

Общие наблюдения.
1) В науку местная молодежь не особо идет, ибо получить постоянку в универе - большой гемор, да и зарплаты по сравнению с индустрией могут проигрывать.
2) В математику и физику особо идти не стоит, ибо работу найти не так просто по сравнению с программером, а зарплаты сравнимые, да и выучить математику с физикой гораздо сложнее. Тогда зачем мучиться?
3) Математика в основном сводится к статистике (в индустрии). Сейчас, правда, машинное обучение будет помогать расширить круг применения.
4) Ходят слухи, что глубокое обучение скоро вытеснит все другие методы, а это значит, что машинное обучение будет сведено к академической дисциплине (коей она и была до недавнего времени), распараллеливанию алгоритмов для новых быстрых кластеров и платформ и "гонянию" сих алгоритмов теме же прораммерами, коих для пущей важности переминуют в инженеров по алгоритмам.

Какие отсюда выводы?
1) Все в программеры. Даже если не ставить перед собой благородных целей по разработке высоких технологий, на хлеб с маслом с 6-ти значным процентным содержанием всегда хватит. Да и учиться будет гораздо легче, и бакалавра явно хватит. А какая карьера с бакалавром по математике? Ну смех один. На хорошие позиции везде доктора требуют, а это лет 5 лет на 20 тысячах. Ну и кому сие приключение на одно место надо?
2) Наука - удел фанатов. Если в бытность аспиранта человек удовлетворял интересы профессора (у которого он был 5-м по счету), внушая себе, что конечно же занимается тем, чем хотел (и о чем мечтал с рождения), тогда точно в науку. Если даже не смотря на весь гемор человек упорно сидит после аспирантуры несколько лет на контракте в универе, надеясь (наивно?) получить там постоянку, а также занимаясь постоянным поиском грантов даже путем смены темы (ну как можно расстраивать любимую кафедру), то таким как раз место в науке.
3) Остается ли какая надежда? Да.

Вот такая ситуевина однако.

[Физик-Лирик]

А какая карьера с бакалавром по математике? Ну смех один.

Да ладно вам. Среднего уровня data scientist-у нафиг не нужен PhD. Мой однокашник с 3-х летним бакалавком по математике (даже не 4-х летним, даже не в статистике), - вначале аналитик в маркетинге (1-1.5 года), затем аналитик в KPMG (пару лет), сейчас Data Scientist в ING (Амстердам). Всего-то делов выучить пару-тройку пакетов программирования, взять 3-4 курса по статистике и иметь голову на плечах. Карьера значительно лучше, чем у большинства программистов.

На уровень менеджера / chief data scientist в индустрии мастера достаточно. Опыт работы в бизнесе важнее, чем PhD, ибо ценность специалиста повышается за счёт изучения самого бизнеса, а не fancy theory. Хотя PhD ещё никому не мешало, но с финансовой точки зрения PhD не окупается.

Ну конечно. Прямо-таки современный джентельменский набор: бакалавр, пара пакетов, 3-4 курса. Смешно. Посмотрите на описания позиций. На хорошие позиции везде доктора хотят, ну или хотя бы магистра на худой конец. Общался я с этими бакалаврами - знатоками математики. Еще то удовольствие. "Среднего уровня data scientist" - это обыкновенный сиквальщик со знанием языков программирования и неким представлении о машинном обучении. Но это же не математическая позиция, которую мы здесь обсуждаем. Аналитик в менеджменте - это вообще из другой оперы. Если бы все было так просто, туда рванула бы куча народу, что мы наблюдали в начале 2000 в программировании. Но в программистах хотя бы большие потребности, а в "математике" такого нет. И кто бы тогда хорошую деньгУ там платил? Data Science - это далеко не всегда математика. В большинстве случаев - это будет обычный ETL.

[Физик-Лирик]

О чём мы спорим? Я спорю с утверждением о том, что нет смысла делать бакалавра major in math, а надо делать bachelor in computer science.

Честно говоря, с 5-6 летним опытом здесь столько не зарабатывают (100-150). Тут вот параллельно обсуждали цифры для синиоров в программировании. Даже у них 150 - уже неплохо. Я не знаю, что конкретно Вы имеете в виду под бизнесом. В Европе и Австралии ситуация может и другая, но здесь именно так.
Р/Питон имеют лишь частичное отношение к математике /машинному обучению. Нужно уметь ставить задачи и делать правильный дизайн. Знаний лишь пакетов недостаточно.
Если математик пойдет в программисты, то с большой вероятностью он назад уже не вернется. Посмотрите, сколько здесь на форуме "бывших". В программисты математик-бакалавр может пойти, если будет знать программирование. Однако здешние программы этого особо не предусматривают. Может получиться ситуация не рыба, не мясо, т.е. и слабая математика и слабое программирование.
Сегодня прошелся по объявам на работы (впрочем, я регулярно это делаю). В основном доктор и магистр. Бакалавр только для "сиквела".
С утверждением, что математике шире и интереснее я безусловно согласен.

[Annetta]

О чём мы спорим? Я спорю с утверждением о том, что нет смысла делать бакалавра major in math, а надо делать bachelor in computer science.

Честно говоря, с 5-6 летним опытом здесь столько не зарабатывают (100-150). Тут вот параллельно обсуждали цифры для синиоров в программировании. Даже у них 150 - уже неплохо. Я не знаю, что конкретно Вы имеете в виду под бизнесом. В Европе и Австралии ситуация может и другая, но здесь именно так.
Р/Питон имеют лишь частичное отношение к математике /машинному обучению. Нужно уметь ставить задачи и делать правильный дизайн. Знаний лишь пакетов недостаточно.
Если математик пойдет в программисты, то с большой вероятностью он назад уже не вернется. Посмотрите, сколько здесь на форуме "бывших". В программисты математик-бакалавр может пойти, если будет знать программирование. Однако здешние программы этого особо не предусматривают. Может получиться ситуация не рыба, не мясо, т.е. и слабая математика и слабое программирование.
Сегодня прошелся по объявам на работы (впрочем, я регулярно это делаю). В основном доктор и магистр. Бакалавр только для "сиквела".
С утверждением, что математике шире и интереснее я безусловно согласен.

А где вы те объявления видите, если не секрет? Я вижу как раз 90% для бакалавров работы. Вообще, мне кажется, сейчас программирование нужно знать всем, поэтому оно должно довеском идти к математике, статистике, финансам и прочему, а не само по себе.

[Физик-Лирик]

А где вы те объявления видите, если не секрет? Я вижу как раз 90% для бакалавров работы. Вообще, мне кажется, сейчас программирование нужно знать всем, поэтому оно должно довеском идти к математике, статистике, финансам и прочему, а не само по себе.

Смотрю на обычных сайтах типа индида. Поиск по ключевым словам "Machine Learning", "Predictive Modeling". Выдаст кучу дэйта сайнтистов, но далеко не все они интересны для меня. Программирование безусловно необходимо, но программирование программированию рознь. Для этих позиций, как правило, не нужно ОО. В основном скрипты, стат. пакеты, сиквел, не-сиквел типа Пига. Сейчас все увлечены большими данными, так что пошел уклон в дистрибутивные технологии. Причем их сейчас довольно много, не понятно, что в итоге станет стандартом. Возможно из ОО стоит обратить внимание на Скалу. Интересный язык, хорошо приспособлен к Спарку, да и машинная библиотека хороша (специально все распараллелено). Новый писк моды - глубокое обучение. А так я тут за последний год просмотрел кучу всего, но далеко не все доведено до конца. Групп сейчас много, каждая свою технологию разрабатывает. Все open source. Интересно, что будет.

[Annetta]

А где вы те объявления видите, если не секрет? Я вижу как раз 90% для бакалавров работы. Вообще, мне кажется, сейчас программирование нужно знать всем, поэтому оно должно довеском идти к математике, статистике, финансам и прочему, а не само по себе.

Смотрю на обычных сайтах типа индида. Поиск по ключевым словам "Machine Learning", "Predictive Modeling". Выдаст кучу дэйта сайнтистов, но далеко не все они интересны для меня. Программирование безусловно необходимо, но программирование программированию рознь. Для этих позиций, как правило, не нужно ОО. В основном скрипты, стат. пакеты, сиквел, не-сиквел типа Пига. Сейчас все увлечены большими данными, так что пошел уклон в дистрибутивные технологии. Причем их сейчас довольно много, не понятно, что в итоге станет стандартом. Возможно из ОО стоит обратить внимание на Скалу. Интересный язык, хорошо приспособлен к Спарку, да и машинная библиотека хороша (специально все распараллелено). Новый писк моды - глубокое обучение. А так я тут за последний год просмотрел кучу всего, но далеко не все доведено до конца. Групп сейчас много, каждая свою технологию разрабатывает. Все open source. Интересно, что будет.

Ага, спасибо, интересно

[Физик-Лирик]

О чём мы спорим? Я спорю с утверждением о том, что нет смысла делать бакалавра major in math, а надо делать bachelor in computer science.

Честно говоря, с 5-6 летним опытом здесь столько не зарабатывают (100-150).

Indeed shows average salary of data scientist (SF Bay Area) 150K

Если с 5 годами опыта после универа, то с трудом верится. Если 5 лет в данной области + "другой" опыт - тогда очень похоже.
Хотя в Кали позиций очень много, все-таки 150К там как бы не самая крутая зарплата, особенно в СФ. Скажем не в Кали зарплаты среднего уровня где-то в районе 100-110К. Я и в НЮ видел схожий уровень, что меня просто сразило на месте. Сильно зависит от индустрии. Например, в финансах платят больше, но мы все знаем, сколько там надо пахать (хотя я всегда за). Еще раз подчеркну, что термин data science и соответственно позиции имеют настолько широкую интерпретацию, что надо сравнивать "по пунктам". Нередко нужны программисты для "запихивания" результатов творчества сайнтистов в продакшен. Правда скорее всего позиция будет называться инженер по алгоритмам.