Data Science: идея для старт-апа

[kyk]

Если модель это магия и AI.

какие для этого нужны библиотеки для Питона?

[Lisa]

А, забавно, автоматическая кластеризация. Не набор правил, конечно, но называть это ИИ… хотя, сейчас все ИИ. Когда-то давно я такие модельки тренировала, да, веселое время было.

Ну человек хочет чтобы модель еще и сама признаки определяла по которым кластеризовать. Случайным образом? И переобучаться до посинения? Или я, как нуб , совсем ничего не понял?

Ну можно и это автоматизировать, и переобучивать можно, но конечно в начале надо хорошо понимать что делаешь и настроить все тщательно.

[Andrey Strelnikov]

А, забавно, автоматическая кластеризация. Не набор правил, конечно, но называть это ИИ… хотя, сейчас все ИИ. Когда-то давно я такие модельки тренировала, да, веселое время было.

Ну человек хочет чтобы модель еще и сама признаки определяла по которым кластеризовать. Случайным образом? И переобучаться до посинения? Или я, как нуб , совсем ничего не понял?

Ну можно и это автоматизировать, и переобучивать можно, но конечно в начале надо хорошо понимать что делаешь и настроить все тщательно.

Но это просто автоматизация труда аналитика получается ?

[Lisa]

А, забавно, автоматическая кластеризация. Не набор правил, конечно, но называть это ИИ… хотя, сейчас все ИИ. Когда-то давно я такие модельки тренировала, да, веселое время было.

Ну человек хочет чтобы модель еще и сама признаки определяла по которым кластеризовать. Случайным образом? И переобучаться до посинения? Или я, как нуб , совсем ничего не понял?

Ну можно и это автоматизировать, и переобучивать можно, но конечно в начале надо хорошо понимать что делаешь и настроить все тщательно.

Но это просто автоматизация труда аналитика получается ?

Да в общем если так глобально посмотреть, то и self driving car это в принципе автоматизация труда водителя.

[Komissar]

Ну что значит "самообучаемая"? Ты добавляешь новый параметр и новые правила к нему, например if moon_phase = new then show purple button. Система не сама придумала, что надо теперь смотреть и на фазу луны.

[dama123]

Ну так там же написано. AI это не IF/Else a персонализация на основе паттернов. Т.е. один пользователь видит красную кнопочку "Купить сегодня", а другой зелёную "Продолжить с покупкой". И эта персонализация построена на паттернах - т.е. пользователи с параметрами хром браузер которые провели на сайте 20 секунд в суботу лучше реагируют на первую кнопку а те кто на винде во вторник вечером на вторую. И эта хрень должна работать сама по себе и иметь доказуемость ( т.е. A/B тест решения с AI vs решения без или с простыми if else )

T.e. решение принимает не пограмист с аналитиком а модель. Которая постоянно кстати само-обучается и экспериментирует на 10% трафика. Т.е. закинул в хрень 10 цветов и 10 названий кнопочек и она показывает всем свой вариант по моделе 90% а 10% случайно.

if browser == chrome then...
if time >= 20 sec and day = 6 then...

чистое If-else
просто удивительно, что ты этого не понимаешь

Вы мне zVlad напоминаете. Про то что все придумано IBM в 1970 году.
Конечно, персонализация это не if else. T.e. в принципе такое сделать можно, но большой вопрос как хорошо это будет работать. К примеру, если загуглить велосипед и купить его, еще год приходится на рекламу велосипедов смотреть.
Но если все в рамках одной системы (есть feedback ) то вполне реализуемо.

[Физик-Лирик]

Так спроса нет на математику (hedge funds не предлагать), потому платят мало. Если изредка кому надо сложную модель, нанимают спец.консалтеров.

Мне больше всего деньги и WLB нравятся. Статейки не люблю.

Спрос есть, хотя наверное не в таких объемах, как на программистов. И платят неплохо, и условия получше.

Вакансий для программистов, естественно, больше, но и самих программистов больше. Здесь надо смотреть исторически. 80-е годы, когда можно было относительно легко "академикам" пристроиться в универах, мы пропустим, т.к. кроме одного химика тут почти никого не было (и чего этот химик в индустрию поперся при тех возможностях? ). В 90-е стал высвобождаться большой объем физиков (по понятным причинам), и они ринулись в кванты. В результате количество "свободных" физиков на рынке (а хороший физик - это прежде всего математик) резко уменьшилось. В конце 90-х и 2000-х имеющиеся математики и еще непристроенные физики (многие из которых говорили с акцентом) ринулись в программирование. В результате количество математиков на рынке резко уменьшилось, но индустрия была не готова им предложить работы, а в универах уже был жуткий наплыв на профессорские должности. В 2010х, особенно во второй половине, индустрия разродилась дейта сайнсом, все захотели "докторов" от математики. Для еще не забывших математики математиков началась золотая жила.Т.к. знающих математику "докторов" жутко не хватало, они стали хорошо пристроиваться и, заметим, не в программирование, а универы начали плодить магистров от дейта сайнса. В итоге сейчас на рынке возникла молодая поросль магистров, но математики с опытом и знаниями - в дефиците. Итак наступила вторая фаза золотой жилы, когда математический опыт помогает развитию халавы на работе. Сидишь себе дома, навоиспеченным магистрам ц.у. даешь, статейки пописываешь и постоянно плачешься, что мало платят. Перепрыгиваешь в другую контору с повышением и снова плачешься по поводу скудности заработка. Главное наинтервью в "обычные" конторы дать понять менеджеру (а он как правило не бум-бум), что ты крут. Лепишь лапшу, а проверить то не кому. Так что пока цветет дейта сайнс, а он будет и дальше цвести под именем ИИ - все пучком у математиков. Какие тут нафиг базы данных и программирование?

[Физик-Лирик]

Ну так правильно, директорские должности, но уж никак не рядовой разработчик

Не обязательно. Мне например нужен AI Engineer - не директор а разработчик который полностью делает и отвечает за AI. Аналогично Head of ХХХХ - может быть IC.

Интересно, что именно вы понимаете под AI?

Да все что угодно сейчас. Под этой маркой легче продать. Термины дейта сайнс и МЛ скоро будут уже не в тренде. Будем идти в ногу со временем.

Ну что значит "самообучаемая"? Ты добавляешь новый параметр и новые правила к нему, например if moon_phase = new then show purple button. Система не сама придумала, что надо теперь смотреть и на фазу луны.

А вот товарищ не идет в ногу со временем, потому что не изучает Реинфорсмент Лернинг с его разновидностями Можно сказаь, отстал от современных трендов.

[Komissar]

80-е годы, когда можно было относительно легко "академикам" пристроиться в универах, мы пропустим, т.к. кроме одного химика тут почти никого не было (и чего этот химик в индустрию поперся при тех возможностях? ).

жадность фраера сгубила!

[kyk]

Главное наинтервью в "обычные" конторы дать понять менеджеру (а он как правило не бум-бум), что ты крут.

ну математику-то при этом таки надо хорошо знать и рубить. И в обычной конторе могут оказаться очень смышленные бакалавры-математики и фуфло-то раскусят. И обычные бакалавры могут знать чем отличается представление Гейзенберга и Шредингера (и Ватмана). И среди BBA и MBA встечаются ребята с очень хорошим знанием математики. Им лапшу не повесишь.

И даже химики иногда умные бывают

[Komissar]

- нет ничего, ни data warehouse, ни инженеров, а только Accenture консалтеры-индусы, которым я на ноги наступаю, они сами хотят продать этот AI за пять лямов.

У меня сейчас вообще туши свет, одни эффективные менеджеры и индусы.

в Down Under в айти тоже индусятня засела?

[Komissar]

У нас вообще плохо с индусами. Целые районы ими заселяют. Они сюда могут ехать по независимой skilled визе, и все IT конечно же.

а я то так надеялся что зеленый континент обойдется без индусни... неужели придется все-таки учить гребаный немецкий язык для Австрии вместо ретайрмента в Австралии?

[M. Ridcully]

Ну так правильно, директорские должности, но уж никак не рядовой разработчик

Не обязательно. Мне например нужен AI Engineer - не директор а разработчик который полностью делает и отвечает за AI. Аналогично Head of ХХХХ - может быть IC.

А что такое "Head of ХХХХ"?
Или рука дрогнула / лишний X нарисовали / имели в виду "Head of ХХХ"?

[Физик-Лирик]

Главное наинтервью в "обычные" конторы дать понять менеджеру (а он как правило не бум-бум), что ты крут. Лепишь лапшу... Какие тут нафиг базы данных и программирование?

Да надоело мне лепить лапшу. Я хочу реальное что-то делать. Пять лет имею тайтл DS, зарплату, почет и уважение, но ни одной модели в продакшн не пошло, потому что не нужны они никому. DS- математика нанимают для window dressing, чтобы сказать что мы AI driven.

Делать полезное всегда не воспрещается. Лапша - для карьеры, полезное - для души. Если у вас в конторе все как в ...,в общем, понятно где, чего тогда там сидите? Неужели все так с рынком плохо или просто лень искать?

[M. Ridcully]

Мне тоже интересно. Можно пример пусть хоть и абстрактный? А то один конкурент все пишет что их система AI-powered. А я-то знаю что у них за система и мнe ну очень интересно что можно назвать AI-powered. Сказал своему сейлзу тоже говорить

Давай я покажу - только ты в паблик не выноси

А мне можно?
Я, если можно так сказать, делаю лопаты для "золотой лихорадки" AI - так что лишний use case всегда интересно посмотреть.

[Физик-Лирик]

Главное наинтервью в "обычные" конторы дать понять менеджеру (а он как правило не бум-бум), что ты крут.

ну математику-то при этом таки надо хорошо знать и рубить.

Если это мне комплимент, то спасибо

Главное наинтервью в "обычные" конторы дать понять менеджеру (а он как правило не бум-бум), что ты крут.

И в обычной конторе могут оказаться очень смышленные бакалавры-математики и фуфло-то раскусят. И обычные бакалавры могут знать чем отличается представление Гейзенберга и Шредингера (и Ватмана). И среди BBA и MBA встечаются ребята с очень хорошим знанием математики. Им лапшу не повесишь.

Конечно могут оказаться. Вон, выигрывают же люди в лотерею где шанс один на 170 миллионов (или сколько там?). Все может оказаться.
Если "обычные бакалавры могут знать", то они в "обычные" конторы не идут. Скорее всего в аспирантуру или "необычные" компании.
А вообще, у меня скложилось впечатление, что вы особо не интервьюируетесь. А лапшу тоже вешать умеючи надо .

[Komissar]

чего тогда там сидите? Неужели все так с рынком плохо или просто лень искать?

Да буду искать, куда я денусь. Три раза меняла за последние 5 лет, теперь не разговаривают со мной, надо 3 года досидеть чтобы опять казаться солидным кандидатом. Полгода ещё посижу и начну, благословясь.

это у вас в АУ такие заморочки - 3 года на одном месте?

[Lisa]

Да надоело мне лепить лапшу. Я хочу реальное что-то делать. Пять лет имею тайтл DS, зарплату, почет и уважение, но ни одной модели в продакшн не пошло, потому что не нужны они никому. DS- математика нанимают для window dressing, чтобы сказать что мы AI driven.

Возможно это специфика Австралии, или вам крупно не повезло.

[OtherSide]

Тут Хрюндель прав, у тебя очень и очень наивные представления не только по бизнесу, но и по процессу программирования вообще.
Венчурные капиталисты хотят, что бы ты сам а) просчитал спрос, рынок и экономику б) закодил готовый прототип в) набрал комманду ну и главное г) сделал реальных продаж на $500 000

Тогда уж так и быть, ты пройдешь конкурс на рассмотрение и если сможешь с цифрами на руках и конкретным планом доказать, что через 5 лет у тебя будет оборот в $500М в год, то за 10% от компании тебе дадут $25К на скрепки и послушать курс вроде "Думай и богатей"

За идею по $100К никто точно раздавать не будет

Судя по описанию ты имееш ввиду венцурных капиталистов которые живут в "курорте мирового уровня" Ялте ну и ли максимум в Москве.

Хрюнделя спроси, как раздают инвестиции в Калифорнии. Схема та же самая, только денег дадут может чуток побольше, но незначительно

[xrundel]

А мне можно?
Я, если можно так сказать, делаю лопаты для "золотой лихорадки" AI - так что лишний use case всегда интересно посмотреть.

Держи, только без паблика.

[kyk]

Держи, только без паблика.

и со мной поделись - буду знать к чему стремиться. Без паблика

[BitterSean]

Ну так правильно, директорские должности, но уж никак не рядовой разработчик

Не обязательно. Мне например нужен AI Engineer - не директор а разработчик который полностью делает и отвечает за AI. Аналогично Head of ХХХХ - может быть IC.

А что такое "Head of ХХХХ"?
Или рука дрогнула / лишний X нарисовали / имели в виду "Head of ХХХ"?

Думаю хрюндель и от просто head не отказался.

[BitterSean]

Конечно могут оказаться. Вон, выигрывают же люди в лотерею где шанс один на 170 миллионов (или сколько там?). Все может оказаться.
Если "обычные бакалавры могут знать", то они в "обычные" конторы не идут. Скорее всего в аспирантуру или "необычные" компании.
А вообще, у меня скложилось впечатление, что вы особо не интервьюируетесь. А лапшу тоже вешать умеючи надо .

Вы правы, но знаете как еще бывает:

Нанялась я в одну контору лет 5 назад, где было 3 штуки PhD in physics (включая моего непосредственного начальника), один PhD in applied math, и с десяток бакалавров in math, все из того же универа что и я, номер 1 в Австралии или похожий уровень. Белые австралийцы.

Боже, как я радовалась! Думала, щас буду интересные проблемы с интересными людьми решать

Большего болота я в жизни своей не видела.
Все три PhD in physics не умели кодировать, и занимались идиотскими дискуссиями целый день. Начальник мой так вообще был в депрессии и не делал вообще ничего все три года, пока я не ушла. Скоро его выгнали оттуда после 10ти лет фигнёй страдания.

PhD in math не имела ни малейшего понятия об оптимизации. Не знала что такое convex optimisation, local minimum etc.

Бакалавры - половина стала менеджерами и управляли этими PhD. Эти были самые интересные люди. Остальные бакалавры пытались всеми силами пробиться в менеджмент.

Ни о какой особенной математике на интервью речь не шла, т.е. ни единого математического вопроса мне не задали.

С тех пор я очень скептически отношусь.

Все эти PHD - слабаки. Вот вы, Сабина и Херовимчик - несёте америку в светлое будущее.

[Физик-Лирик]

Вы правы, но знаете как еще бывает:

Нанялась я в одну контору лет 5 назад, где было 3 штуки PhD in physics (включая моего непосредственного начальника), один PhD in applied math, и с десяток бакалавров in math, все из того же универа что и я, номер 1 в Австралии или похожий уровень. Белые австралийцы.

Боже, как я радовалась! Думала, щас буду интересные проблемы с интересными людьми решать

Большего болота я в жизни своей не видела.
Все три PhD in physics не умели кодировать, и занимались идиотскими дискуссиями целый день. Начальник мой так вообще был в депрессии и не делал вообще ничего все три года, пока я не ушла. Скоро его выгнали оттуда после 10ти лет фигнёй страдания.

PhD in math не имела ни малейшего понятия об оптимизации. Не знала что такое convex optimisation, local minimum etc.

Какие страсти рассказываете. У меня как раз диаметральная картина. Я много с PhD работал (причем немало было из топовых универов) в разных конторах. Впечатления в целом положительные. Много сам чему научился, да и время хорошо проводили (в смысле дискуссий и прочее ). Может просто повезло. Правда попасть туда непросто было, интервью там всякие с пристрастием и не очень .

Да буду искать, куда я денусь. Три раза меняла за последние 5 лет, теперь не разговаривают со мной, надо 3 года досидеть чтобы опять казаться солидным кандидатом. Полгода ещё посижу и начну, благословясь.

Я сам тоже прыгаю. А что делать? Зарплаты на рынке растут, не прыгнешь - не получишь. Сейчас просто уникальная ситуация на рынке. Зарплаты растут, конторы нанимают. Я пытался в соседнем топике выяснить по поводу перспектив, но как то не ясно. Сам думаю новый поиск начать.

[Физик-Лирик]

Все эти PHD - слабаки. Вот вы, Сабина и Херовимчик - несёте америку в светлое будущее.

Не все. Есть такие - палец в рот не клади. Одно приятно - с ними есть, что обсудить, мозги, так сказать, поразмять. Минус - куча амбиций (как правило). Но а где идеально?