AI, Machine learning - grad school

[Komissar]

Сын знакомых бросает крутую позицию в Гугле и идет в аспирантуру по какой-то смешанной специальности, типа AI, Machine learning и что то там еще типа электронное обучение.

Мне каэцца, в АИ уже 200 лет копают, но особенно не накопали. Или это нынче круто? Одним словом, прав ли молодой человек, бросая хорошо оплачиваемую позицию в Гугле ради такой аспирантуры?

[flip_flop]

Мне кажется, сейчас опять очередной подьём. И в SW и в HW. Опять же, особенно не накопали , но круто, тот же Google спонсирует и многие другие. Решать всё равно молодому человеку а не его родителям или знакомым.

[SaintDog666]

Молодец, впрыгивает в стартанувший поезд. Мы же как обычно будем впрыгивать в последний вагон

[oshibka_residenta]

Мне кажется, сейчас опять очередной подьём. И в SW и в HW. Опять же, особенно не накопали , но круто, тот же Google спонсирует и многие другие. Решать всё равно молодому человеку а не его родителям или знакомым.

А мне, кажется, накопали.
Google: deep learning
Вот, к примеру:
https://www.youtube.com/watch?v=aH6-mYyynC0" onclick="window.open(this.href);return false;
https://www.youtube.com/watch?v=V1eYniJ0Rnk" onclick="window.open(this.href);return false;

[flip_flop]

Мне кажется, сейчас опять очередной подьём. И в SW и в HW. Опять же, особенно не накопали , но круто, тот же Google спонсирует и многие другие. Решать всё равно молодому человеку а не его родителям или знакомым.

А мне, кажется, накопали.
Google: deep learning
Вот, к примеру:
https://www.youtube.com/watch?v=aH6-mYyynC0" onclick="window.open(this.href);return false;
https://www.youtube.com/watch?v=V1eYniJ0Rnk" onclick="window.open(this.href);return false;

Ха! Мне не надо гуглить, честное слово.

Очень, очень буду рад ошибаться, у меня именно к этому есть шкурный интерес. Просто лёгкий скепсис, как обычно, мешает мне назвать это особенным. Я ранее занимался нейронными сетями немного, знаю и сильные и слабые стороны. Но, как бы там ни было - бальзам на душу, спасибо.

[oshibka_residenta]

. Я ранее занимался нейронными сетями немного, знаю и сильные и слабые стороны. Но, как бы там ни было - бальзам на душу, спасибо.

Если занимались, тем более гляньте видео. Это пять минут займет.

[flip_flop]

Заинтриговали - пошёл смотреть

[flip_flop]

Посмотрел. Хорошие иллюстрации, хотя я подобное (на то время) видел и даже кое-где воспроизводил в конце прошлого тысячелетия. Не совсем понятно, насколько важны именно Deep структуры по сравнению с остальными известными. Ну и теории не хватает, как и всегда с ANN, сплошная эмпирика. С другой стороны, если работает сильно лучше чем раньше, то и слава всевышнему, ну её нафиг, эту теорию (шутка). Наверное, надо освежить состояние дел в этой области, чем чёрт не шутит. Опять таки, наше железо под это дело хорошо накладывается.

Комиссар - мы Вас с ошибкой резидента заинтриговали для вашего дитяти ?

P.S. Спасибо, ошибка резидента.

P.P.S. То, что сейчас нет теории и это только подаёт надежды - хорошие предпосылки для будущего, если надежды свершаться и решение будет гарантировано и обосновано (хотел бы я знать ) Ну, а если нет - появится опыт. "Experience - this is what we get if we can't get what we want"

[oshibka_residenta]

Насколько я понял, никакой новой теории нет, а есть новые вычислительные возможности. Т.е. раньше такое просто не реально было просчитать.

[SaintDog666]

Заинтриговали - пошёл смотреть

http://ailev.livejournal.com/" onclick="window.open(this.href);return false;
Почитайте Алиева. Он сейчас подсел на эту тему.

[flip_flop]

Поигрался с примерами на Матлабе и Юле, ну и на чистом С/С++ есть в загашнике. Те же яйца, только в профиль. По прежнему убийственно медленная оптимизация при тренировке. Немного лучше стали структурировать данные и фреймворки для архитектуры сетей. Параллелизация идёт неплохо (виват, акселераторы) и можно сокращать размерность (float вместо double и даже fixed point вместо doulbe) для быстроты и сокращения требуемой памяти. Впрочем, в этом ничего особо нового нет, но целевое железо и софт могут отметиться. А шума и пиара то много, очень много, подтягиваются журналисты и популяризаторы Впрочем, если пиар и шумиха пойдут на пользу, почему бы и не пуркуа па? Больше статей, хороших и разных. Это круто! Ну и далее по списку

Догнать и перегнать квантовые компьютеры по наукоёмкой привлекательности и сладким около-научным снам!

И, эта, где у нас профессиональные дейта сайентисты и ИИ-болиды (были тут занятные персоны) ?

[flip_flop]

Нельзя ли, плиз, поконкретнее по Deep Learning и его фундаментального отличиях от обычных NN? Я не увидел прорывов в методах оптимизации при тренировке. Особой теории тоже не нашёл, правда и не искал особо. И какая особая крутизна в новых имплементациях? Ну, кроме железа, где я сам могу долго растекаться мыслию по древу о его, железа, развитии и приспособленности для Deep Learning

P.S. Sorry, я конкретно о Deep Learning. Или Вы ML вообще имели в виду? Кстати, я давным давно читал классику ML - книгу Митчела. Есть ли что-то подобное такого же уровня, но поновее, с учётом всех новых "прорывов"?

[Komissar]

А PhD in ML очень модно и востребовано везде.

Огласите весь список! (с)

[flip_flop]

А PhD in ML очень модно и востребовано везде.

Огласите весь список! (с)

Камрад, концепция "везде" не имеет атрибута конечности, по определению. Так что никаких списков.

И вообще, не придирайтесь к фигуре речи и гиперболе, важнее сохранить энтузиазм и задор.

Впрочем, по секрету, я тоже отношусь к умеренным скептикам, на основе как теории, так и богатого жизненного опыта Как там, кстати, с биг фармой - очень модно и востребовано? Наше железо можно вам впаривать под лозунгом ML и DL? Просто интересно.

[Komissar]

Как там, кстати, с биг фармой - очень модно и востребовано? Наше железо можно вам впаривать под лозунгом ML и DL? Просто интересно.

фарма уже несколько лет как перешла в режим Большой Экономии . Если что кому и впаривают, то за большие откаты.

[Komissar]

А PhD in ML очень модно и востребовано везде.

Огласите весь список! (с)

Камрад, концепция "везде" не имеет атрибута конечности, по определению.

Ну назовите топ-10.

[flip_flop]

А PhD in ML очень модно и востребовано везде.

Огласите весь список! (с)

Камрад, концепция "везде" не имеет атрибута конечности, по определению.

Ну назовите топ-10.

Это вопрос не ко мне, я тоже в очереди. Ждём Королеву в предверии восхищения.

Судя по Гуглу, могу назвать только 3: Facebook, Google, Microsoft. Кстати, приятно был удивлён наёмом на работу в Файсбук нашего классика Вапника, я до сих пор помню его толстую книгу у себя на полке молодого специалиста "Восстановление зависимостей по эмпирическим данным". Я даже кое что из приложения гонял на Фортране. Жив курилка и активен, желаю ему здравия.

P.S. О, ещё у себя в кустах нашёл, IBM Research называется. И HW и SW, интересненько.

[Komissar]

Кстати, приятно был удивлён наёмом на работу в Файсбук нашего классика Вапника, я до сих пор помню его толстую книгу у себя на полке молодого специалиста "Восстановление зависимостей по эмпирическим данным".

Вапник - это тот самый знаменитый долгожитель планеты? ему 116 сейчас?

[flip_flop]

Побойтесь Бога, всего лишь 79 Типа нашего живчика Бабаяна.

[flip_flop]

А PhD in ML очень модно и востребовано везде.

Огласите весь список! (с)

Нужно в любой компании.

"Королева, мы в восхищении." ©

Камрад, в вашу компанию нужно?

[flip_flop]

Я не о Deep Learning, а в общем о ML. Именно DL я изучала очень поверхностно, но уверена, что теории там навалом, поскольку мне очень крутой probabilist-теоретик предлагал писать по нему master thesis. Я испугалась сложности и пошла к другому, с темой попроще (и с работой связанной). Почитайте статью A Probabilistic Theory of Deep Learning, она есть в архиве, все свежие референсы там.

Теории то может быть и навалом, но нужна правильная и полезная теория. Как и почему теории генерируются в академии я знаю. Впрочем, указанная статья на первый взгляд вполне хороша и отвечает на правилыные вопросы, вплоть до важных на практике смесей экспоненциальных распределений, методов регуляризации, и соответствия статистики NN. Спасибо. Определённый прогресс имеет место быть. Но и открытых вопросов по прежнему масса.

[flip_flop]

Flip-flop, вы путаете industrial research с просто работой. Да, research редко где. А просто работу найти, учу: гуглите jobs PhD machine learning. 839 позиций на indeed. От Walmart и Nissan до всяких стартапов.

Я не разбираюсь в рынке работ для дата сайентистов и PhD ML. Да и честно говоря, не сильно и интересуюсь. Мне просто было интересно услышать мнение нашего камрада Комиссара по этому вопросу. По видимому у него (и у меня) есть скепсис по поводу всеобщей глобальной нужности. Не отрицая полезности этого дела при правильным балансе ML/statistics и знания предметной области.

[Komissar]

Flip-flop, вы путаете industrial research с просто работой. Да, research редко где. А просто работу найти, учу: гуглите jobs PhD machine learning. 839 позиций на indeed. От Walmart и Nissan до всяких стартапов.

так у мальчика уже есть крутая работа

[flip_flop]

Flip-flop, вы путаете industrial research с просто работой. Да, research редко где. А просто работу найти, учу: гуглите jobs PhD machine learning. 839 позиций на indeed. От Walmart и Nissan до всяких стартапов.

так у мальчика уже есть крутая работа

Так девочка печётся о всех мальчиках и девочках в этой области. Что, в принципе и должно быть - "своя рубашка дисциплина ближе к телу".

Вернёмся к нашим баранам вопросам. Мне кажется, сейчас очередной ренессанс AI/ML/ANN и имеет смысл делать исследования в этой области. Почитав новые работы (обычные скучные статьи, не популяризаторские) я увидел неплохой прогресс и количество может скоро перейти в качество. Успешное исследование в сочетании с пиаром этого исследования должно благоприятно сказаться на карьере. Ну, если амбиции выше чисто денежной крутизны прямо сейчас.

Вот, например обычный скучный китайский аспирант с обычной скучной диссертацией (правда, университет и руководитель у него высококлассные) привлекает к себе мировое внимание.

[Физик-Лирик]

Нельзя ли, плиз, поконкретнее по Deep Learning и его фундаментального отличиях от обычных NN? Я не увидел прорывов в методах оптимизации при тренировке. Особой теории тоже не нашёл, правда и не искал особо. И какая особая крутизна в новых имплементациях? Ну, кроме железа, где я сам могу долго растекаться мыслию по древу о его, железа, развитии и приспособленности для Deep Learning

P.S. Sorry, я конкретно о Deep Learning. Или Вы ML вообще имели в виду? Кстати, я давным давно читал классику ML - книгу Митчела. Есть ли что-то подобное такого же уровня, но поновее, с учётом всех новых "прорывов"?

Если вкраце, ДЛ - это НН, но с несколькими внутренними слоями. Если посмотреть на некие результаты на инете, то впечетляют. Я никогда не был поклонником НН в основном из-за того, что там слишком много регулирующих параметров, которые замаешься подбирать. В последние годы НН не был особо популярен (мое мнение), и лишь появление ДЛ дало второе дыхание. Однако проблемы с параматрами остались и даже преумножились. Т.е. теперь нужно регулировать и число слоев, и число узлов, а также шринкидж (там добавили и Л1 и Л2). Конечно, можно применить метод сеток (т.е. встроенные циклы по каждому параметру). Но встает вопрос о времени. Тут пара книжек выходит, поизучаем. Почему работает? Не уверен, что пока достигнут консенсус. Читал про физические аналогии (с энергией).
Моя точка зрения - это переход от пространство с одной размерностью к другой. При увеличении числа узлов в промежуточном слое - отображение в пространство с большей размерностью. В этом смысле есть аналогия с кернел-методами (например, суппорт вектор машиной), когда отображения позволяют изучить нелинейное поведение. Уменьшение числа узлов в промежуточном слое ведет к уменьшение размерности (аналог метода принципиальных компонент, точнее кернел принципиальных компонент).