IT горячка в Сиэттле, эпизод 2

[Сабина]

Все что можно быстро прикрутить
Java, scala, python based обычно легко

Если не секрет, то к какой индустрии Вы прикладываете ML -- рекомендательные системы, селф-драйвинг, медицина/биология или что-то еще? Просто любопытно.

К чему только не прикладывал уже...
Щас вот буду к поиску опять

А насчёт Гугл - ходил я к ним на L6, но ML позиций не было в киркланде, поэтому просто на бакенд, не взяли ... Очегь высокая планка там

О коллега можно сказать , Я тоже в сече, строю поисковый индекс для runtime сервиса - batch and streaming data pipelines. Прошлый год переходили в GCP . Я кстати заценила очень их стэк и вообще, лично мне нравится больше Амазонского. Пока бОльшую часть времени тратила на переписывание Hadoop jobs на Спарк. Положение вещей тут с одной стороны немного удручает, с другой каталог немаленький ( под 100 миллионов items индексируем), есть возможность решать интересные задачи. В тиме никто особо не рвётся из зоны комфорта вылезать ( код в стиле Джава enterprise) и много примитивного Питона). Spark jobs все на Джаве, на Скале я одна пишу практически. Был сильный инженер, который тоже на Скале писал - в Убер ушёл, нынче нашего брата рекрутеры постоянно окучивают. Мне немного дико после стартапа где мы все latest и greatest сразу внедряли, но пока GCP не поменяли на Ажур - сижу Хотя пейджеры по ночам задолбали, а ещё больше необходимость лезть в politics из-за всяких data contracts etc. Менеджмент индусский, отношение к женщинам и неиндусам соответствующее. Пришёл он после меня, и проработав в тиме меньше месяца влепил мне partial meet performance. Я в шоке была, в жизни такого не было, хотела уходить, но год был тяжелый в плане семейства решила не дёргаться. Тем более оказалось что он просто из меня сделал левую, там разнарядка на число exceed/meet/partially meet/did not meet и из меня сделали козла отпущения. Следующее ревью когда денег не надо было делить с перформансом все было отлично.
Обидно за конечный результат - search relevance на порядки хуже чем у конкурентов. Это конечно combined effort и я вижу только наш кусок, но основная проблема это грязные входные данные - garbage in, garbage out. Чтобы исправить - надо потратить много нервов и здоровья на обсуждения data contact

Из Гугла рекрутерка раз выходила - работа в Google Cloud Enterprise суппорт, но девелоперская. Меня удивило что там с задачками грилят по полной как на любом другом гугловской интервью, потому что у нас от них дядька on-site - GCP support вообще нулевой пришёл. Деньги за него платят нехилые, а он даже за элементарными вещами другим звонит и пишет.

Научите как разобраться сразу какого уровня позиция ? Какие наводящие вопросы задать рекрутерке ? Как я поняла total comp 300 - это примерно l4, а у вас l6? Та позиция в Клауде наверное l0 , не хочется особо время тратить на такое

[IvanGrozniy]

Так я и есть инженер, ML engineer уже на грани ML ops, т е реально руками делаю чтобы все работало в прод. Платят больше в среднем чем data scientist т к гребём говно иногда руками.
Был бы phD по ML/CS, пошёл бы в data science высокого полёта сам а не в ML eng. Да там в Data science ещё и китайский уже must have, даже имеется в виду не язык а происхождение

Интересно . А чем ML engineer отличается от Data Engineer ?
У меня знакомый получил кучу сертификатов по DS и ML и работает архитектором в теме где те самые китайские DS преобладают. Говорит что делать приходится с инженерной точки зрения все то же самое, только теперь в AWS и немного поднаторев в pySpark. И что PhD тех кто разгребает руками считают “подсобными рабочими» .

Я сам не специалист в ML, но так совпало что я начал изучать этот предмет (для себя) самостоятельно незадолго до открытия этой темы. Отличие в том, что в ML главное подобрать нужные атрибуты датасета для нужной модели тренировки алгоритмами. Если не то что надо подберешь, то модель ни к черту получится и ничего путнего не предскажет. Так же спец должен сам данные собирать для своей модели. Например, набор юзеров с одной базы данных, а астрологические прогнозы по датам рождения с непонятного веб сайта вытаскивать Потом построить модель настроения у пользователей на след понедельник согласно знаку зодиака… Шутка конечно насчет астрологии, но пример думаю понятен- больше в формулах нужно разбираться.
Кстати, теория ML мне напоминает математическую оптимизацию, которую мы проходили в институте: есть набор параметров/значений осей в многомерном пространстве и по ним нужно создать функцию расчета значений на параметрах, чтобы в неизвестных точках функция выдала приблизительные значения. Просто в те времена у нас не было мощных компьютеров для просчета больших данных и тем более алгоритмов на питоне. Поэтом считали на бумажках в малоразмерных пространствах (2х, 3х мерных). Зато сейчас похоже развилась эта тема!

[Сабина]

Спасибо Иван Грозный, внесли ясность . А то рекрутеры часто пишут «спец ML опыт требуется или не требуется». Теперь понятно что такое , Andrew Ng в общем все таки надо пройти

[Сабина]

Бывший хороший менеджер ( которого индюк заменил) ушёл в Амазон недавно. В Вижуал серч, когда фоткаешь что надо и тебе это находят на Амазоне. Говорит что тим очень сильный - Принстоны всякие и Стенфорды, круть одним словом

[IvanGrozniy]

Бывший хороший менеджер ( которого индюк заменил) ушёл в Амазон недавно. В Вижуал серч, когда фоткаешь что надо и тебе это находят на Амазоне. Говорит что тим очень сильный - Принстоны всякие и Стенфорды, круть одним словом

В Azure тоже есть подобная библиотечка/API распознавание объектов и брендов. Стоит денег. Я не знаю, если AWS предлагает уже такое или нет. Возможно бывший коллега как раз этим и занимается.
https://azure.microsoft.com/en-us/servi ... er-vision/

Computer Vision

Automatically identify more than 10,000 objects and 25 languages. Streamline processes across multiple scenarios, such as robotic process automation and digital asset management, with rich data extraction from images.

А давно менеджер в Амазоне работает?

[city_girl]

Бывший хороший менеджер ( которого индюк заменил) ушёл в Амазон недавно. В Вижуал серч, когда фоткаешь что надо и тебе это находят на Амазоне. Говорит что тим очень сильный - Принстоны всякие и Стенфорды, круть одним словом

Что люди уже совсем деградировали - неспособны ввести название бренда и предмета, который хотят купить? Амазон думает что можно людей заставить покупать быстрее чем те осознают, что перед ними и что именно им нужно? Амазон думает что все бренды прибегут к нему продавать? Просто любопытна мотивация заниматься такими разработками...

На самомо деле каждый человек имеет дело, запоминает и хочет очень ограниченное количество номенклатуры. То есть понятно, что технически задача может быть интересной, но фактически, это очередное обтрясывание одной и той же груши, на которой ничего нового не вырастает. Чем меньше остается на дереве груш, тем дороже приспособа обстрясти последние. Зато будет хорошее подспорье производителями контрофакта и как следствие заработок лойерам специализирующимся на науршении авторских прав.

[ie]

Что люди уже совсем деградировали

мы как бы поделились на две группы.. первая група изгаляется вскими питонами-эм-элами, разпознованиями черте што, искуственное мЫшление и т.д.,
только для того чтоб дать возможность второй группе тупо ткуть телефончиком в чизбургер и сказать "хачу"...
и тут же толпа роботов начнут крамсать друг-друга чтобы успеть первыми исполнить это пожелание...

[city_girl]

del

[Notghin]

Что люди уже совсем деградировали

только для того чтоб дать возможность второй группе тупо ткуть телефончиком в чизбургер и сказать "хачу"...

А себя вы, стесняюсь спросить, к какой группе относите? К той которая хочет чизбургер купить силой мысли, или которая хочет 5 минут потратитьна его заказ?

[Notghin]

Что люди уже совсем деградировали

мы как бы поделились на две группы.. первая група изгаляется вскими питонами-эм-элами, разпознованиями черте што, искуственное мЫшление и т.д.,
только для того чтоб дать возможность второй группе тупо ткуть телефончиком в чизбургер и сказать "хачу"...
и тут же толпа роботов начнут крамсать друг-друга чтобы успеть первыми исполнить это пожелание...

наглядненько

но на самомо деле... к какому то моменту - чизбургеров больше не съедят и не произведут, весь вопрос будет сколько отжали и у каких продавцов чизбургеров, а ну да и еще сколько отжали за это "хачу"

но это так, оффтоп конечно в теме...

Бедная city_girl, в то время как цивилизация двигается в будущее семимильными шагами путём автоматизации всего и вся, всё её внимание акцентировано исключительно на бургерах.

[city_girl]

del

[Notghin]

не буду оффтопить ...

А офтопите здесь вы. То что технологии позволяют упрощать всё вокруг совсем не означает, что люди деградировали. Никто в здравом уме не хочет тратить 15 минут на рутину. Так что welcome to 2020. Хотя вы там, наверное, и свет до сих пор руками включаете, и туалет, простите за мой французский, смываете ими же.

[city_girl]

Что люди уже совсем деградировали

мы как бы поделились на две группы.. первая група изгаляется вскими питонами-эм-элами, разпознованиями черте што, искуственное мЫшление и т.д.,
только для того чтоб дать возможность второй группе тупо ткуть телефончиком в чизбургер и сказать "хачу"...
и тут же толпа роботов начнут крамсать друг-друга чтобы успеть первыми исполнить это пожелание...

наглядненько

но на самомо деле... к какому то моменту - чизбургеров больше не съедят и не произведут, весь вопрос будет сколько отжали и у каких продавцов чизбургеров, а ну да и еще сколько отжали за это "хачу"

но это так, оффтоп конечно в теме...

Бедная city_girl, в то время как цивилизация двигается в будущее семимильными шагами путём автоматизации всего и вся, всё её внимание акцентировано исключительно на бургерах.

не позорьтесь своими глупостями

[ie]

но это так, оффтоп конечно в теме...

ну пака наши гении сурогатного ителекта cкрипят мозгами... наверное можно немного.

[Notghin]

Что люди уже совсем деградировали

мы как бы поделились на две группы.. первая група изгаляется вскими питонами-эм-элами, разпознованиями черте што, искуственное мЫшление и т.д.,
только для того чтоб дать возможность второй группе тупо ткуть телефончиком в чизбургер и сказать "хачу"...
и тут же толпа роботов начнут крамсать друг-друга чтобы успеть первыми исполнить это пожелание...

наглядненько

но на самомо деле... к какому то моменту - чизбургеров больше не съедят и не произведут, весь вопрос будет сколько отжали и у каких продавцов чизбургеров, а ну да и еще сколько отжали за это "хачу"

но это так, оффтоп конечно в теме...

Бедная city_girl, в то время как цивилизация двигается в будущее семимильными шагами путём автоматизации всего и вся, всё её внимание акцентировано исключительно на бургерах.

не позорьтесь своими глупостями

Ну так это не я говорю, что цивилизация отупела и хочет всё автоматизировать. Сходите на речку, постирайте портки, что ли. И корову подоите.

[ie]

К той которая хочет чизбургер купить силой мысли, или которая хочет 5 минут потратитьна его заказ?

а куда вы так спешите, что у вас нет пяти минут, чтобы заказать себе бургер человесеским способом?
что у вас там пажар? я подозреваю скорее всего вы обслуживаете какого то робота, или как он у вас называется?
система по распознованию кислых щей?
и у вас просто нет времени чтобы по человечески дойти до нормальной столовки, поговорить с живым официантом,
может быть побеседовать со своим другом или там подругой... пока вам люди готовят еду.

неееет... вы как маленькая пушистенькая белочка, несетесь в этой бесконечной петле...

угадал?

[Notghin]

К той которая хочет чизбургер купить силой мысли, или которая хочет 5 минут потратитьна его заказ?

а куда вы так спешите, что у вас нет пяти минут, чтобы заказать себе бургер человесеским способом?
что у вас там пажар? я подозреваю скорее всего вы обслуживаете какого то робота, или как он у вас называется?
система по распознованию кислых щей?
и у вас просто нет времени чтобы по человечески дойти до нормальной столовки, поговорить с живым официантом,
может быть побеседовать со своим другом или там подругой... пока вам люди готовят еду.

неееет... вы как маленькая пушистенькая белочка, несетесь в этой бесконечной петле...

угадал?

Я сторонник автоматизации рутины. Тест кейсы у меня на скриптах, дом на датчиках/голосовом управлени.

[ie]

К той которая хочет чизбургер купить силой мысли, или которая хочет 5 минут потратитьна его заказ?

а куда вы так спешите, что у вас нет пяти минут, чтобы заказать себе бургер человесеским способом?
что у вас там пажар? я подозреваю скорее всего вы обслуживаете какого то робота, или как он у вас называется?
система по распознованию кислых щей?
и у вас просто нет времени чтобы по человечески дойти до нормальной столовки, поговорить с живым официантом,
может быть побеседовать со своим другом или там подругой... пока вам люди готовят еду.

неееет... вы как маленькая пушистенькая белочка, несетесь в этой бесконечной петле...

угадал?

Я сторонник автоматизации рутины. Тест кейсы у меня на скриптах, дом на датчиках/голосовом управлени.

это прекрасно, достойно всяких похвал...
я подозреваю что вы завтракаете в машине по дороге на работу, чтобы не терять время на эту рутину...

[IvanGrozniy]

Да ладно вас, разошлись здесь У меня на работе конкретное применение этого алгоритма присутствует. Закрывает водила трейлер в тягаче с кучей коробкой. А камера в это время фоточку делает и сообщает начальству, если трейлер полупустой. Мол, ребята, экономьте денег и еще коробочек напихайте. Как-раз и реализованы расчеты нажатием мышек в этом облаке Azure.
Вот еще и Sabina дала подсказку про ученого Andrew Ng. Я глянул что он там вытворяет и самое прикольное для меня было видео где они роботу-уборщику показывают как надо по дому работать: складывать грязную посуду в мойку, прибираться возле дивана, уложить красиво подушечеки и т.д. Робот смотрит на действия людей, учится и потом повторяет уже сам. Вот же светлое будущее за поворотом

[ie]

Закрывает водила трейлер

да.. это прикольно. и насколько легко/сложно такое запрограмировать?

[IvanGrozniy]

Закрывает водила трейлер

да.. это прикольно. и насколько легко/сложно такое запрограмировать?

Ну наши специалисты по разводу кругами перед клиентами уже 17-ую версию выпускают и хвалятся что 17-ая версия самая точная. По-моему полтора года этой фичей занимаются. Но по моему субъективному мнению у них не хватает мат аппарата, чтобы нормально сделать с первых приближениях вот и мучаются. Изначально для обучения системы указанной первой они взяли несколько сот фотографий из архивов, прошлись по ним и отметили на глазок на сколько процентов заполнен трейлер. Реально работы мало проделано и с Azure это модель просто имплементируется и просто трениреутся. Много знать не нужно.
Я им недавно предложил помощь в создании другой модели, чтобы предсказывать столкновения машин базируясь на нашей базе данных от сенсоров машины. Пока думают...
Также мне рассказывали, как они пытались просчитать другую модель - привели интерна-аналитика на лето. Она просчитывала-просчитывала все на настоящих данных. В конце-концов создала никчемную модель и предсказывала событие почти с 50% вероятностью угадывания. То есть говорит, что водила накосячит и угадывала только в половине случаев. Пример того, как не нужно было делать Модель убили.

[Lisa]

Да ладно вас, разошлись здесь У меня на работе конкретное применение этого алгоритма присутствует. Закрывает водила трейлер в тягаче с кучей коробкой. А камера в это время фоточку делает и сообщает начальству, если трейлер полупустой. Мол, ребята, экономьте денег и еще коробочек напихайте. Как-раз и реализованы расчеты нажатием мышек в этом облаке Azure.

По хорошему если, ваш водила перед погрузкой каждую коробку должен отсканить. Тогда система точно знает, полный трейлер или не полный. А если совсем по хорошему, то система перед погрузкой считает какие коробки в какой трейлер грузить чтобы полупустых не было. Без всяких новомодных ML

[IvanGrozniy]

Да ладно вас, разошлись здесь У меня на работе конкретное применение этого алгоритма присутствует. Закрывает водила трейлер в тягаче с кучей коробкой. А камера в это время фоточку делает и сообщает начальству, если трейлер полупустой. Мол, ребята, экономьте денег и еще коробочек напихайте. Как-раз и реализованы расчеты нажатием мышек в этом облаке Azure.

По хорошему если, ваш водила перед погрузкой каждую коробку должен отсканить. Тогда система точно знает, полный трейлер или не полный. А если совсем по хорошему, то система перед погрузкой считает какие коробки в какой трейлер грузить чтобы полупустых не было. Без всяких новомодных ML

Это не наш водила. Мы продаем элеткронные коробочки с модемом для машин компаниям, элеткроника всю возможную инфу собирает и отправляет на сервера. Инфу по содержимому посылок нам точно никто не даст.
Компании-клиенты у нас разные. У кого всего 2 машины, у кого сотни. Не все могут тратить большие деньги и время на сканер для содержимого груза.

[tessob]

Закрывает водила трейлер в тягаче с кучей коробкой. А камера в это время фоточку делает и сообщает начальству, если трейлер полупустой. Мол, ребята, экономьте денег и еще коробочек напихайте.

Я по-правде не понимаю где тут бизнес-велью. Представьте себя на месте менеджера, которому пришло сообщение, что какой-то трак недозагружен. Что вы собираетесь делать? Примете-ли Вы волевое решение переложить коробки из трака идущего в Чикаго, в трак идущий в Сиэтл? Ну, чтоб другие эффективные менеджеры уже там дальше с этим разбирались.

Второе, что я не понимаю – это откуда взялись коробки. Весь цивилизованный мир обычно решает это с помощью транспортных поддонов, например в стандартную фуру их помещается ровно 33 штуки. Это у вас PoC какой-то, или что за задача такая странная?

Модель убили.

Возможно ее модель просто пожертвовала собой, чтоб спасти чей-то бизнес! Самопожертвование -- это, мне кажется, вершина Искусственного интеллекта!

А если серьезно, то самые распространенные грабли, на которые наступают многие дата-сатанисты на прикладных проектах – это использование в качестве исходных данных данные, которые они не понимают. То есть, простым языком – это как писать классификатор “кошек и собак” по фотографиям, но в качестве исходных параметров использовать размер файла и дату снимка. Звучить глупо, но это просто повальное увлечение сегодня.

[tessob]

Что люди уже совсем деградировали - неспособны ввести название бренда и предмета, который хотят купить?

Подозреваю, что тут людей никто особо в расчет не берет. Обычно подобным развлекают инвесторов.