Machine Learning again

[Физик-Лирик]

...Главное - не нарваться на таких Петровичей, ....

У меня бывший начальник в таком случае сказал бы, что не понимает, почему нельзя обьяснить проблему простыми словами и за 5 минут (слегка намекая, что с кем-то тут что-то не так), поэтому поиди, подготовься, и назначь митинг, когда будешь готов объяснить. Хороший был человек, крепкий начальник, уволили вот его недавно...

Так правильно. Такие монологи должны произносится для достижения определённых целей. Одно дело, когда общий митинг, тогда, конечно, минимум технических деталей и полное разжевывание. Другое дело, когда митинг чисто технический и с правильной аудиторией, но к ним начинают примазываться всякие петровичи, которые при этом норовят что-то ляпнуть. Умный начальник никогда не будет жаловаться на непонимание технических деталей.

[Физик-Лирик]

Тоже думаю, что мало. Самообразованием надо на работе заниматься. И это должно быть вписано в годовой план.

На баркасе режим другой: бери больше, кидай дальше, отдыхай пока летит. Я книжки рекомендованные Сабиной читаю и конспектирую, но сил что-то запрограммировать уже нет.

Хотите в новую область перейти?

[Kolbasoff]

Хотите в новую область перейти?

Ну я так постепенно к ней подбираюсь. Прикладной погромизм стал абсолютным конвейером. Бессмысленное и беспощадное соединение ужей с ежами. Ощущаю себя радиомонтажником, безостановочно паяющего разъемы. Тупая неинтересная деятельность сама по себе, плюс потогонка в виде аджайла. Хочется что-нить более интеллектуальное.

[Kolbasoff]

У меня есть знакомый один, приехал в Канаду лет 10 назад, все это время он ходит в клуб по изучению английского языка (так он это называет) и записывает конспекты, но английский так и не выучил, разговаривает только по бумажке со страшным акцентом, прямо text-to-speech какой-то с "человеческим лицом".

В data science/data analytics теорию надо знать. Это вам не "берем провод номер 221 и припаиваем к штырьку номер 10 разъема номер 34", чем я сейчас занимаюсь. А контрактец на big data я найду. Я думал что в эту итерацию получится спрыгнуть с прикладухи, но не получается. Запихали обратно на птицеферму, гады.

[Физик-Лирик]

В data science/data analytics теорию надо знать. Это вам не "берем провод номер 221 и припаиваем к штырьку номер 10 разъема номер 34", чем я сейчас занимаюсь. А контрактец на big data я найду. Я думал что в эту итерацию получится спрыгнуть с прикладухи, но не получается. Запихали обратно на птицеферму, гады.

Приближённо, Дейта сайнс сейчас делится на две категории. Это ЕТЛ и предиктив аналитикс. Первое включает хранение и обработку данных, второе - создание моделей (сюда можно отнести и машинное обучение, и статистику, и прикладную математику, и ряды, и стохастику, и т.п.). Есть некоторое пересечение этих двух категорий, плюс есть третья группа, это девелоперы, которые занимают некую промежуточную позицию. В идеале, хорошо, когда человек может поучаствовать во всех трёх процессах. Однако, на практике это не требуется, т.к. каждый процесс требует особого внимания, и имеет место разделение труда. Собственно математику нужно знать для предикатов аналитикс. Для ЕТЛ ее знать как бы и не надо. Да и для девелопмента тоже.
Вы в какой области из перечисленных будете искать работу? Например для ЕТЛ достаточно освоить Пиг (что несложно), Хай (практически сиквел), Хадуп, Спарк (собственно годятся на Хадупе под Ярном). Собственно вот и начало для ЕТЛ больших данных. С предиктив аналитикс дело более тонкое.

[x.angie]

Ну я так постепенно к ней подбираюсь. Прикладной погромизм стал абсолютным конвейером. Бессмысленное и беспощадное соединение ужей с ежами. Ощущаю себя радиомонтажником, безостановочно паяющего разъемы. Тупая неинтересная деятельность сама по себе, плюс потогонка в виде аджайла. Хочется что-нить более интеллектуальное.

К тем же выводам пришёл где-то месяцев шесть-восемь назад. Вот прямо чуть ли не слово-в-слово.

<Длинное и нудное описание текущего положения дел в IT, с приведением не работающих аналогий и примеров, скипнуто>

Выход из этого видится как раз в переходе в что-то более интеллектуальное - BD/analytics/etc. <Длинное объяснение почему это правильно скипнуто тоже, для экономии времени. Всё равно обсасывали 100 раз уже>

[Сабина]

"За что купил, за то и продаю"
В Спарк группе Матея какой то орёл запостил следующее... Кому надо - это завтра если что

Hey! I'd like to share this amazing learning opportunity with you; Skillspeed presents a series of foundation courses, priced at only 43USD, covering the latest BIG Data technologies. We've got the following scheduled for March 5th & 6th:

Details - R Programming & Analytics

Details - BIG Data & Hadoop 2.x Details - Apache Spark & Scala

Each of the above courses features:
• 6 Hours of Live Instructor Led Training
• 4 Hours of Practicals
• Fully Equipped Virtual Machines
• 24/7 Live Support
• 2 Project Guides
• Foundation Level Certification
These will give you a great start; each of the course is priced at only 43USD.

You'll have a great learning experience See you!

[Dweller]

Если хочешь расти в успешного руководителя в ML, то лучше знать и уметь все (но уже не хотеть это делать)
Больше всего ценятся кандидаты со степенью в applied math/stats, при этом также и кодирующие начиная с института
В общем, 2 скиллза - кодировать и применять статистику. А все остальное уже вторично и легко осваивается, т.е. хадупы пиги после опыта обычного кодирования, и ML после статистики.

[Kolbasoff]

Вы в какой области из перечисленных будете искать работу? Например для ЕТЛ достаточно освоить Пиг (что несложно), Хай (практически сиквел), Хадуп, Спарк (собственно годятся на Хадупе под Ярном). Собственно вот и начало для ЕТЛ больших данных. С предиктив аналитикс дело более тонкое.

Вообще, я на мой сегодняшний баркас пошел из-за того что обещали (хе-хе!) биг дату. И еще потому что это был контракт. И сначала все было замечательно, я написал ETL-программень с использованием Хадупа, коснулся Терадаты (но как обычного DataSource), засосал все в Монго, и все на AWS, т.е. прогресс в резюме был на лице. Но потом что-то пошло не так (не по моей вине а из-за смещения приоритетов у начальства) и в итоге я занимаюсь голимым быдлокодингом. Причем, так как я предложение поженицца отверг, на меня еще и смотрят как на врага народа, типа "не командный игрок". А командные игроки хреначат и вечерами и по выходным. А я лаптоп в 5 закрыл и досвидос амигос.

Так что начну подготовку с ETL-стэка, потом перейду на Спарк MLLib, стандартной дорогой: statistics, regressions для начала. Я просмотрел теорию, я же это все когда-то применял в своей недолгой инженерной деятельности в СССР, но сейчас конечно подзабыл, но вспоминается легко. Но программы конечно другие. У меня вот до сих в башке названия древних фортрановских пакетов конца 80-х засели - DECOMP и SOLVE.

Что до серьезной аналитики и обучаемых систем, то посмотрим как пойдет с азами. Но торопицца мне не куда, на птицеферму я в любом случае больше не пойду, а на дату какую-нить халтурку срублю.

[flip_flop]

Но с другой стороны, а data scientist should ... pretend to understand deep learning ...

[Физик-Лирик]

Если хочешь расти в успешного руководителя в ML, то лучше знать и уметь все (но уже не хотеть это делать)
Больше всего ценятся кандидаты со степенью в applied math/stats, при этом также и кодирующие начиная с института
В общем, 2 скиллза - кодировать и применять статистику. А все остальное уже вторично и легко осваивается, т.е. хадупы пиги после опыта обычного кодирования, и ML после статистики.

Согласен, что лучше иметь представление обо всем. Практика показывает, что руководить аналитическими отделами берут с опытом в бизнесе и общей бизнес-аналитике, а эксперта в МЛ берут в качестве тех. лида. Собственно он и будет возглавить и вести все разработки в области алгоритмического анализа.
Термин статистика я бы чуть поконкретнее использовал, т.к. сейчас в индустрии оно в основном связано с биостатистикой, клиническими испытаниями, опросами, анализом качества и т.п. Все-таки МЛ как бы не совсем статистика, хотя очень испольуется особенно в области диагностики результатов. В резюме следует чётко оговаривать все это, т.е. указывать и статистику и МЛ.

[Физик-Лирик]

Но с другой стороны, а data scientist should ... pretend to understand deep learning ...

Что только лишний раз указывает, насколько замордовали термин Дейта сайнс.

[Физик-Лирик]

Но с другой стороны, а data scientist should ... pretend to understand deep learning ...

В свое время, когда я еще был плохо информированным оптимистом и занимался физикой, приходилось работать над разными моделями, в частности гидродинамическими. Эти модели хорошо описывали ламинарные течения. Был большой интерес к турбулентным течениями и предложены различные модели, но не было понимания чёткого механизма перехода ламинарного режима в турбулентный. Насколько я понимаю, сейчас картина та же, хотя особо уже не слежу. К чему я это вспомнил ... У меня складывается впечатление, что сейчас та же ситуация наблюдается по глубокому (глубинному) обучению. Типа модели есть, результаты есть, а четкого (или вообще какого) понимания нет. Зато термин стал устойчивым и уже употребляется и когда надо, и когда не надо. Зато хорошо начальству лапшу вешать. Типа освоить в текущей пятилетке метод глубинного бурения больших данных. Как звучит однако. И руководство довольно, пи...ся кипятком. А что делать. Роль информированного оптимиста обязывает соответствовать.

[flip_flop]

Хе-хе, я тоже занимался вычислительной гидродинамикой одно время, и мой временный бос в то время пытался понять и внятно математически описать процесс перехода к турбулентости. Навье-Стокс плюс определённые условия прекрасно численно моделировали турбулентность, но внятного аналитического объяснения не было. За решение этого вопроса он ожидал получить Нобелевскую, не меньше. Давно это было, надо спросить его как там с этим

Сегодня был у меня обычный митинг, но под конец чёрт меня дёрнул упомянуть привязку к нашему железу deep learning. И понеслось, хехе. Хоть езжай на пасеку, рядом с камрадом Колбасофф, и вспоминай на природе всё то, что забыл, а также чего и не знал, не знал, и забыл. И заливай себе deep learning в свои глубинные недра. Почему то навеяло deep ... (beep, гусары молчать!)

[Физик-Лирик]

Хе-хе, я тоже занимался вычислительной гидродинамикой одно время, и мой временный бос в то время пытался понять и внятно математически описать процесс перехода к турбулентости. Навье-Стокс плюс определённые условия прекрасно численно моделировали турбулентность, но внятного аналитического объяснения не было. За решение этого вопроса он ожидал получить Нобелевскую, не меньше. Давно это было, надо спросить его как там с этим

Сегодня был у меня обычный митинг, но под конец чёрт меня дёрнул упомянуть привязку к нашему железу deep learning. И понеслось, хехе. Хоть езжай на пасеку, рядом с камрадом Колбасофф, и вспоминай на природе всё то, что забыл, а также чего и не знал, не знал, и забыл. И заливай себе deep learning в свои глубинные недра. Почему то навеяло deep ... (beep, гусары молчать!)

Да, объяснение будет стоит Нобелевской премии. Многие модели описывали развитую турбулентности (например, те же классические уравнения Рейнольдса). Были статьи, описывающие развитие неустойчивости в системе. Сейчас, насколько я знаю, составляются "библиотеки" турбулентных течений, с которыми сравнивается исходное.
А глубокое обучение действительно прикольно. Но и меня всегда проблема найти параметры. Слишком возни много.

[blanko27]

Как-то весь разговор в топике вращается вокруг big data. А кто-то занимается machine learning в контексте image recognition и computer vision?

[Ofreema]

мы в OCR

[Dweller]

ой, а я тоже занимался вычислительной гидродинамикой
первое место на студ. олимпиаде в москве в 96г и вторые на СНГ и России в том же году
помогает с планированием rough-in plumbing в доме
основные принципы правда простые - вода хорошо сливается только вниз, и от источника к потреблению трубу можно только сужать, не расширять. Со сливом наоборот.

[Физик-Лирик]

ой, а я тоже занимался вычислительной гидродинамикой
первое место на студ. олимпиаде в москве в 96г и вторые на СНГ и России в том же году
помогает с планированием rough-in plumbing в доме
основные принципы правда простые - вода хорошо сливается только вниз, и от источника к потреблению трубу можно только сужать, не расширять. Со сливом наоборот.

Значит надо нам тут на форуме придумать интересную задачу и тряхнуть стариной.
Есть какие идеи?

[blanko27]

мы в OCR

Для OCR вы не neural network использовали? Слишком дорогая игрушка получилась бы, ведь так?

[x.angie]

Кстати, сейчас идёт прямая трансляция поединка в Го (не путать с golang! ) между AlphaGo и каким-то китайцем корейцем Lee Sedol.

Держу кулачки за AlphaGo. Не потому что не нравятся человеки, а потому что сильно топлю за DeepMind и глубокие/свёрточные сети (которые по слухам лежат в основе AlphaGo).

https://youtu.be/vFr3K2DORc8

Первый матч сегодня. Еще четыре - до конца этой недели должны сыграть. Выиграет тот, кто наберёт больше очков по сумме всех матчей.

[Ofreema]

Для OCR вы не neural network использовали? Слишком дорогая игрушка получилась бы, ведь так?

Был дядечка в нашей компании, которые в 90 годах запатентовал метод, который с апдейтами и апгрейдами используется до сих пор.
Так вот смысл его очень прост: борщ без любого ингредиента уже не борщ. И для наилучшего результата нужно использовать все методы.

Так и пилим, где-то регрессии, где-то мульти класс, где-то десижин трис, а где-то нейронные сети (не совсем в чистом виде)

Задачи, которые мы решаем - комплексные, поэтому и используем все и в комплексе. (:

[Сабина]

Машинные ленеры, подскажите есть ли какой научный алгоритм фильтрации стрима и вылавливания объектов где property Х есть в set of objects type X ?

[blanko27]

Задачи, которые мы решаем - комплексные, поэтому и используем все и в комплексе. (:

Да, сейчас в последнее время вообще эти ensemble methods модными стали. Как работают - непонятно, но получается здорово

[blanko27]

Машинные ленеры, подскажите есть ли какой научный алгоритм фильтрации стрима и вылавливания объектов где property Х есть в set of objects type X ?

Сабина, что за проблема с classification? Возмем к примеру decision tree: если property Х (feature?) у данного input-а существует, то отнесим его к объектам type X с вероятностью 100%. Это даже не ML. Может быть что-то я не так понимаю?