Machine Learning again

Физик-Лирик
Уже с Приветом
Posts: 5104
Joined: 19 Oct 2004 01:46

Re: Machine Learning again

Post by Физик-Лирик »

blanko27 wrote:
Физик-Лирик wrote:...Главное - не нарваться на таких Петровичей, ....
У меня бывший начальник в таком случае сказал бы, что не понимает, почему нельзя обьяснить проблему простыми словами и за 5 минут (слегка намекая, что с кем-то тут что-то не так), поэтому поиди, подготовься, и назначь митинг, когда будешь готов объяснить. Хороший был человек, крепкий начальник, уволили вот его недавно... :cry:
Так правильно. Такие монологи должны произносится для достижения определённых целей. Одно дело, когда общий митинг, тогда, конечно, минимум технических деталей и полное разжевывание. Другое дело, когда митинг чисто технический и с правильной аудиторией, но к ним начинают примазываться всякие петровичи, которые при этом норовят что-то ляпнуть. Умный начальник никогда не будет жаловаться на непонимание технических деталей.
Физик-Лирик
Уже с Приветом
Posts: 5104
Joined: 19 Oct 2004 01:46

Re: Machine Learning again

Post by Физик-Лирик »

Kolbasoff wrote:
Физик-Лирик wrote:Тоже думаю, что мало. Самообразованием надо на работе заниматься. И это должно быть вписано в годовой план.
На баркасе режим другой: бери больше, кидай дальше, отдыхай пока летит. Я книжки рекомендованные Сабиной читаю и конспектирую, но сил что-то запрограммировать уже нет.
Хотите в новую область перейти?
User avatar
Kolbasoff
Уже с Приветом
Posts: 3481
Joined: 02 Jan 2005 22:10

Re: Machine Learning again

Post by Kolbasoff »

Физик-Лирик wrote:Хотите в новую область перейти?
Ну я так постепенно к ней подбираюсь. Прикладной погромизм стал абсолютным конвейером. Бессмысленное и беспощадное соединение ужей с ежами. Ощущаю себя радиомонтажником, безостановочно паяющего разъемы. Тупая неинтересная деятельность сама по себе, плюс потогонка в виде аджайла. Хочется что-нить более интеллектуальное.
User avatar
Kolbasoff
Уже с Приветом
Posts: 3481
Joined: 02 Jan 2005 22:10

Re: Machine Learning again

Post by Kolbasoff »

blanko27 wrote:У меня есть знакомый один, приехал в Канаду лет 10 назад, все это время он ходит в клуб по изучению английского языка (так он это называет) и записывает конспекты, но английский так и не выучил, разговаривает только по бумажке со страшным акцентом, прямо text-to-speech какой-то с "человеческим лицом".
В data science/data analytics теорию надо знать. Это вам не "берем провод номер 221 и припаиваем к штырьку номер 10 разъема номер 34", чем я сейчас занимаюсь. А контрактец на big data я найду. Я думал что в эту итерацию получится спрыгнуть с прикладухи, но не получается. Запихали обратно на птицеферму, гады.
Физик-Лирик
Уже с Приветом
Posts: 5104
Joined: 19 Oct 2004 01:46

Re: Machine Learning again

Post by Физик-Лирик »

Kolbasoff wrote: В data science/data analytics теорию надо знать. Это вам не "берем провод номер 221 и припаиваем к штырьку номер 10 разъема номер 34", чем я сейчас занимаюсь. А контрактец на big data я найду. Я думал что в эту итерацию получится спрыгнуть с прикладухи, но не получается. Запихали обратно на птицеферму, гады.
Приближённо, Дейта сайнс сейчас делится на две категории. Это ЕТЛ и предиктив аналитикс. Первое включает хранение и обработку данных, второе - создание моделей (сюда можно отнести и машинное обучение, и статистику, и прикладную математику, и ряды, и стохастику, и т.п.). Есть некоторое пересечение этих двух категорий, плюс есть третья группа, это девелоперы, которые занимают некую промежуточную позицию. В идеале, хорошо, когда человек может поучаствовать во всех трёх процессах. Однако, на практике это не требуется, т.к. каждый процесс требует особого внимания, и имеет место разделение труда. Собственно математику нужно знать для предикатов аналитикс. Для ЕТЛ ее знать как бы и не надо. Да и для девелопмента тоже.
Вы в какой области из перечисленных будете искать работу? Например для ЕТЛ достаточно освоить Пиг (что несложно), Хай (практически сиквел), Хадуп, Спарк (собственно годятся на Хадупе под Ярном). Собственно вот и начало для ЕТЛ больших данных. С предиктив аналитикс дело более тонкое.
User avatar
x.angie
Уже с Приветом
Posts: 189
Joined: 13 Mar 2006 19:01
Location: Earth -> Moon -> Mars

Re: Machine Learning again

Post by x.angie »

Kolbasoff wrote:Ну я так постепенно к ней подбираюсь. Прикладной погромизм стал абсолютным конвейером. Бессмысленное и беспощадное соединение ужей с ежами. Ощущаю себя радиомонтажником, безостановочно паяющего разъемы. Тупая неинтересная деятельность сама по себе, плюс потогонка в виде аджайла. Хочется что-нить более интеллектуальное.
К тем же выводам пришёл где-то месяцев шесть-восемь назад. Вот прямо чуть ли не слово-в-слово.

<Длинное и нудное описание текущего положения дел в IT, с приведением не работающих аналогий и примеров, скипнуто>

Выход из этого видится как раз в переходе в что-то более интеллектуальное - BD/analytics/etc. <Длинное объяснение почему это правильно скипнуто тоже, для экономии времени. Всё равно обсасывали 100 раз уже>
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: Machine Learning again

Post by Сабина »

"За что купил, за то и продаю"
В Спарк группе Матея какой то орёл запостил следующее... Кому надо - это завтра если что

Hey! I'd like to share this amazing learning opportunity with you; Skillspeed presents a series of foundation courses, priced at only 43USD, covering the latest BIG Data technologies. We've got the following scheduled for March 5th & 6th:

Details - R Programming & Analytics

Details - BIG Data & Hadoop 2.x Details - Apache Spark & Scala

Each of the above courses features:
• 6 Hours of Live Instructor Led Training
• 4 Hours of Practicals
• Fully Equipped Virtual Machines
• 24/7 Live Support
• 2 Project Guides
• Foundation Level Certification
These will give you a great start; each of the course is priced at only 43USD.

You'll have a great learning experience :) See you!
https://www.youtube.com/watch?v=wOwblaKmyVw
User avatar
Dweller
Уже с Приветом
Posts: 12257
Joined: 20 Dec 2000 10:01
Location: Bellevue, WA

Re: Machine Learning again

Post by Dweller »

Если хочешь расти в успешного руководителя в ML, то лучше знать и уметь все (но уже не хотеть это делать)
Больше всего ценятся кандидаты со степенью в applied math/stats, при этом также и кодирующие начиная с института
В общем, 2 скиллза - кодировать и применять статистику. А все остальное уже вторично и легко осваивается, т.е. хадупы пиги после опыта обычного кодирования, и ML после статистики.
User avatar
Kolbasoff
Уже с Приветом
Posts: 3481
Joined: 02 Jan 2005 22:10

Re: Machine Learning again

Post by Kolbasoff »

Физик-Лирик wrote:Вы в какой области из перечисленных будете искать работу? Например для ЕТЛ достаточно освоить Пиг (что несложно), Хай (практически сиквел), Хадуп, Спарк (собственно годятся на Хадупе под Ярном). Собственно вот и начало для ЕТЛ больших данных. С предиктив аналитикс дело более тонкое.
Вообще, я на мой сегодняшний баркас пошел из-за того что обещали (хе-хе!) биг дату. И еще потому что это был контракт. И сначала все было замечательно, я написал ETL-программень с использованием Хадупа, коснулся Терадаты (но как обычного DataSource), засосал все в Монго, и все на AWS, т.е. прогресс в резюме был на лице. Но потом что-то пошло не так (не по моей вине а из-за смещения приоритетов у начальства) и в итоге я занимаюсь голимым быдлокодингом. Причем, так как я предложение поженицца отверг, на меня еще и смотрят как на врага народа, типа "не командный игрок". А командные игроки хреначат и вечерами и по выходным. А я лаптоп в 5 закрыл и досвидос амигос.

Так что начну подготовку с ETL-стэка, потом перейду на Спарк MLLib, стандартной дорогой: statistics, regressions для начала. Я просмотрел теорию, я же это все когда-то применял в своей недолгой инженерной деятельности в СССР, но сейчас конечно подзабыл, но вспоминается легко. Но программы конечно другие. У меня вот до сих в башке названия древних фортрановских пакетов конца 80-х засели - DECOMP и SOLVE.

Что до серьезной аналитики и обучаемых систем, то посмотрим как пойдет с азами. Но торопицца мне не куда, на птицеферму я в любом случае больше не пойду, а на дату какую-нить халтурку срублю.
User avatar
flip_flop
Уже с Приветом
Posts: 4375
Joined: 20 Jun 2001 09:01

Re: Machine Learning again

Post by flip_flop »

Снежная Королева wrote:Но с другой стороны, а data scientist should ... pretend to understand deep learning ...
:D
Физик-Лирик
Уже с Приветом
Posts: 5104
Joined: 19 Oct 2004 01:46

Re: Machine Learning again

Post by Физик-Лирик »

Dweller wrote:Если хочешь расти в успешного руководителя в ML, то лучше знать и уметь все (но уже не хотеть это делать)
Больше всего ценятся кандидаты со степенью в applied math/stats, при этом также и кодирующие начиная с института
В общем, 2 скиллза - кодировать и применять статистику. А все остальное уже вторично и легко осваивается, т.е. хадупы пиги после опыта обычного кодирования, и ML после статистики.
Согласен, что лучше иметь представление обо всем. Практика показывает, что руководить аналитическими отделами берут с опытом в бизнесе и общей бизнес-аналитике, а эксперта в МЛ берут в качестве тех. лида. Собственно он и будет возглавить и вести все разработки в области алгоритмического анализа.
Термин статистика я бы чуть поконкретнее использовал, т.к. сейчас в индустрии оно в основном связано с биостатистикой, клиническими испытаниями, опросами, анализом качества и т.п. Все-таки МЛ как бы не совсем статистика, хотя очень испольуется особенно в области диагностики результатов. В резюме следует чётко оговаривать все это, т.е. указывать и статистику и МЛ.
Физик-Лирик
Уже с Приветом
Posts: 5104
Joined: 19 Oct 2004 01:46

Re: Machine Learning again

Post by Физик-Лирик »

flip_flop wrote:
Снежная Королева wrote:Но с другой стороны, а data scientist should ... pretend to understand deep learning ...
:D
Что только лишний раз указывает, насколько замордовали термин Дейта сайнс.
Физик-Лирик
Уже с Приветом
Posts: 5104
Joined: 19 Oct 2004 01:46

Re: Machine Learning again

Post by Физик-Лирик »

flip_flop wrote:
Снежная Королева wrote:Но с другой стороны, а data scientist should ... pretend to understand deep learning ...
:D
В свое время, когда я еще был плохо информированным оптимистом и занимался физикой, приходилось работать над разными моделями, в частности гидродинамическими. Эти модели хорошо описывали ламинарные течения. Был большой интерес к турбулентным течениями и предложены различные модели, но не было понимания чёткого механизма перехода ламинарного режима в турбулентный. Насколько я понимаю, сейчас картина та же, хотя особо уже не слежу. К чему я это вспомнил ... У меня складывается впечатление, что сейчас та же ситуация наблюдается по глубокому (глубинному) обучению. Типа модели есть, результаты есть, а четкого (или вообще какого) понимания нет. Зато термин стал устойчивым и уже употребляется и когда надо, и когда не надо. Зато хорошо начальству лапшу вешать. Типа освоить в текущей пятилетке метод глубинного бурения больших данных. Как звучит однако. И руководство довольно, пи...ся кипятком. А что делать. Роль информированного оптимиста обязывает соответствовать.
User avatar
flip_flop
Уже с Приветом
Posts: 4375
Joined: 20 Jun 2001 09:01

Re: Machine Learning again

Post by flip_flop »

Хе-хе, я тоже занимался вычислительной гидродинамикой одно время, и мой временный бос в то время пытался понять и внятно математически описать процесс перехода к турбулентости. Навье-Стокс плюс определённые условия прекрасно численно моделировали турбулентность, но внятного аналитического объяснения не было. За решение этого вопроса он ожидал получить Нобелевскую, не меньше. Давно это было, надо спросить его как там с этим :D

Сегодня был у меня обычный митинг, но под конец чёрт меня дёрнул упомянуть привязку к нашему железу deep learning. И понеслось, хехе. Хоть езжай на пасеку, рядом с камрадом Колбасофф, и вспоминай на природе всё то, что забыл, а также чего и не знал, не знал, и забыл. И заливай себе deep learning в свои глубинные недра. Почему то навеяло deep ... (beep, гусары молчать!)
Физик-Лирик
Уже с Приветом
Posts: 5104
Joined: 19 Oct 2004 01:46

Re: Machine Learning again

Post by Физик-Лирик »

flip_flop wrote:Хе-хе, я тоже занимался вычислительной гидродинамикой одно время, и мой временный бос в то время пытался понять и внятно математически описать процесс перехода к турбулентости. Навье-Стокс плюс определённые условия прекрасно численно моделировали турбулентность, но внятного аналитического объяснения не было. За решение этого вопроса он ожидал получить Нобелевскую, не меньше. Давно это было, надо спросить его как там с этим :D

Сегодня был у меня обычный митинг, но под конец чёрт меня дёрнул упомянуть привязку к нашему железу deep learning. И понеслось, хехе. Хоть езжай на пасеку, рядом с камрадом Колбасофф, и вспоминай на природе всё то, что забыл, а также чего и не знал, не знал, и забыл. И заливай себе deep learning в свои глубинные недра. Почему то навеяло deep ... (beep, гусары молчать!)
Да, объяснение будет стоит Нобелевской премии. Многие модели описывали развитую турбулентности (например, те же классические уравнения Рейнольдса). Были статьи, описывающие развитие неустойчивости в системе. Сейчас, насколько я знаю, составляются "библиотеки" турбулентных течений, с которыми сравнивается исходное.
А глубокое обучение действительно прикольно. Но и меня всегда проблема найти параметры. Слишком возни много.
blanko27
Уже с Приветом
Posts: 2261
Joined: 17 Jun 2003 04:41
Location: Just like US

Re: Machine Learning again

Post by blanko27 »

Как-то весь разговор в топике вращается вокруг big data. А кто-то занимается machine learning в контексте image recognition и computer vision? :?
...а мы такой компанией, возьмем, да и припремся к Элис!
Ofreema
Новичок
Posts: 30
Joined: 14 Jul 2015 14:23

Re: Machine Learning again

Post by Ofreema »

мы в OCR
User avatar
Dweller
Уже с Приветом
Posts: 12257
Joined: 20 Dec 2000 10:01
Location: Bellevue, WA

Re: Machine Learning again

Post by Dweller »

ой, а я тоже занимался вычислительной гидродинамикой :)
первое место на студ. олимпиаде в москве в 96г и вторые на СНГ и России в том же году
помогает с планированием rough-in plumbing в доме :)
основные принципы правда простые - вода хорошо сливается только вниз, и от источника к потреблению трубу можно только сужать, не расширять. Со сливом наоборот.
Физик-Лирик
Уже с Приветом
Posts: 5104
Joined: 19 Oct 2004 01:46

Re: Machine Learning again

Post by Физик-Лирик »

Dweller wrote:ой, а я тоже занимался вычислительной гидродинамикой :)
первое место на студ. олимпиаде в москве в 96г и вторые на СНГ и России в том же году
помогает с планированием rough-in plumbing в доме :)
основные принципы правда простые - вода хорошо сливается только вниз, и от источника к потреблению трубу можно только сужать, не расширять. Со сливом наоборот.
Значит надо нам тут на форуме придумать интересную задачу и тряхнуть стариной. :D
Есть какие идеи?
blanko27
Уже с Приветом
Posts: 2261
Joined: 17 Jun 2003 04:41
Location: Just like US

Re: Machine Learning again

Post by blanko27 »

Ofreema wrote:мы в OCR
Для OCR вы не neural network использовали? Слишком дорогая игрушка получилась бы, ведь так? :-)
...а мы такой компанией, возьмем, да и припремся к Элис!
User avatar
x.angie
Уже с Приветом
Posts: 189
Joined: 13 Mar 2006 19:01
Location: Earth -> Moon -> Mars

Re: Machine Learning again

Post by x.angie »

Кстати, сейчас идёт прямая трансляция поединка в Го (не путать с golang! :nono#:) между AlphaGo и каким-то китайцем корейцем Lee Sedol.

Держу кулачки за AlphaGo. Не потому что не нравятся человеки, а потому что сильно топлю за DeepMind и глубокие/свёрточные сети (которые по слухам лежат в основе AlphaGo).

https://youtu.be/vFr3K2DORc8

Первый матч сегодня. Еще четыре - до конца этой недели должны сыграть. Выиграет тот, кто наберёт больше очков по сумме всех матчей.
Ofreema
Новичок
Posts: 30
Joined: 14 Jul 2015 14:23

Re: Machine Learning again

Post by Ofreema »

blanko27 wrote:Для OCR вы не neural network использовали? Слишком дорогая игрушка получилась бы, ведь так? :-)
Был дядечка в нашей компании, которые в 90 годах запатентовал метод, который с апдейтами и апгрейдами используется до сих пор.
Так вот смысл его очень прост: борщ без любого ингредиента уже не борщ. И для наилучшего результата нужно использовать все методы.

Так и пилим, где-то регрессии, где-то мульти класс, где-то десижин трис, а где-то нейронные сети (не совсем в чистом виде)

Задачи, которые мы решаем - комплексные, поэтому и используем все и в комплексе. (:
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: Machine Learning again

Post by Сабина »

Машинные ленеры, подскажите есть ли какой научный алгоритм фильтрации стрима и вылавливания объектов где property Х есть в set of objects type X ?
https://www.youtube.com/watch?v=wOwblaKmyVw
blanko27
Уже с Приветом
Posts: 2261
Joined: 17 Jun 2003 04:41
Location: Just like US

Re: Machine Learning again

Post by blanko27 »

Ofreema wrote:Задачи, которые мы решаем - комплексные, поэтому и используем все и в комплексе. (:
Да, сейчас в последнее время вообще эти ensemble methods модными стали. Как работают - непонятно, но получается здорово :D
...а мы такой компанией, возьмем, да и припремся к Элис!
blanko27
Уже с Приветом
Posts: 2261
Joined: 17 Jun 2003 04:41
Location: Just like US

Re: Machine Learning again

Post by blanko27 »

Сабина wrote:Машинные ленеры, подскажите есть ли какой научный алгоритм фильтрации стрима и вылавливания объектов где property Х есть в set of objects type X ?
Сабина, что за проблема с classification? Возмем к примеру decision tree: если property Х (feature?) у данного input-а существует, то отнесим его к объектам type X с вероятностью 100%. Это даже не ML. Может быть что-то я не так понимаю? :?
...а мы такой компанией, возьмем, да и припремся к Элис!

Return to “Работа и Карьера в IT”