Machine Learning again

[flip_flop]

Кстати, сейчас идёт прямая трансляция поединка в Го (не путать с golang! ) между AlphaGo и каким-то китайцем корейцем Lee Sedol.

Держу кулачки за AlphaGo. Не потому что не нравятся человеки, а потому что сильно топлю за DeepMind и глубокие/свёрточные сети (которые по слухам лежат в основе AlphaGo).

https://youtu.be/vFr3K2DORc8

Первый матч сегодня. Еще четыре - до конца этой недели должны сыграть. Выиграет тот, кто наберёт больше очков по сумме всех матчей.

Выиграли глубинные

Но, что более важно, решение более универсальное, чем, например, глубокоголубое для шахмат. Шаг на пути к универсальному AI.

[blanko27]

Выиграет тот, кто наберёт больше очков по сумме всех матчей.

Насколько я понимаю, AlphaGo сделала этого китайца со счетом 4:1 https://gogameguru.com/tag/deepmind-alphago-lee-sedol/" onclick="window.open(this.href);return false;

[blanko27]

...тряхнуть стариной.
Есть какие идеи?

Не-а, этим мы трясти не будем, неинтересно, да еще и высыпаться может

[blanko27]

Все больше читаю про neural networks и убеждаюсь, что концепция нейронов там приделана для маркетинговых целей. Просто продать идею весовых матриц (или "как ето будет по-русски"?) трудно, а тут нейроны/дендриты/аксоны/персептроны/мыслящие машины - романтика!

[Deckel]

Просто продать идею весовых матриц трудно

А как не просто продать идею железа, которое сдаётся в аренду вместе с софтом... Ведь на самом деле нет там никаких облаков!

[x.angie]

Выиграет тот, кто наберёт больше очков по сумме всех матчей.

Насколько я понимаю, AlphaGo сделала этого китайца со счетом 4:1 https://gogameguru.com/tag/deepmind-alphago-lee-sedol/" onclick="window.open(this.href);return false;

Корейца, но это не важно.

Примерно в районе третьей партии начали раздаваться крики Ли Седоль - лох и играть не умеет что пусть AlphaGo сыграет с китайцем, который выиграл у Ли Седоля со счётом 8:2 (ссылки не приведу). Но я думаю что и с победой на Седолем DeepMind принципиально задачу "Игра в Го" решили. А там уже, с китайцем играть или с корейцем, какая разница.

По мнению многих наблюдателей, была решена принципиальная задача игры в игру с открытой информацией. Следующий этап - это игры с закрытой информацией, типа StarCraft. Когда каждый участник видет только часть поля. Если и там AlphaGo покажет себя с хорошей стороны, то я могу придумать только (AlphaGo + какой-нибудь Atlas 2.0) vs. чемпионы последнего чемпионата по страйкболу (если такой есть). Вот это мне действительно было бы интересно посмотреть. Не уверен, правда, что тело человека - лучшая форма для боевого робота, но я в этом не копенгаген. Если AlphaGo победит, то всё, SkyNet 1.0

P.S. Только вот Азбука некстати продаёт Boston Dynamics. (По слухам, менеджмент у Boston Dynamics не сильно управляемый, ссылки не приведу). Так были бы все технологии в одних руках.

[x.angie]

Просто продать идею весовых матриц трудно

А как не просто продать идею железа, которое сдаётся в аренду вместе с софтом... Ведь на самом деле нет там никаких облаков!

А идею подвозить попутчиков за мзду малую? А идею сдавать свою квартиру/дом незнакомым людям на несколько дней за денюжку? Кто бы мог подумать что в этих идеях будут деньги?

[Deckel]

Просто продать идею весовых матриц трудно

А как не просто продать идею железа, которое сдаётся в аренду вместе с софтом... Ведь на самом деле нет там никаких облаков!

А идею подвозить попутчиков за мзду малую? А идею сдавать свою квартиру/дом незнакомым людям на несколько дней за денюжку? Кто бы мог подумать что в этих идеях будут деньги?

Даже и назвать то их язык не поднимается ... "такси" и "справочная по жил фонду?"

[x.angie]

Даже и назвать то их язык не поднимается ... "такси" и "справочная по жил фонду?"

Запускаете задачу "Справочник по жил. фонду" на своём мобильном устройстве типа "Ипхоне" фирмы "Аппле", а там сразу окошко выскакивает "Мущщина, вы что не видите, у нас обед!" и кнопка "Зайти на недельке еще раз". В пятницу сообщение меняется на "Сегодня - короткий день".

[Deckel]

Вы смеётесь а я сегодня двадцать минут на хотлайне пресловутой Аппле висел, так и не дождавшись ответа. И это "премиум" сегмент блин. Всех уволить и заменить искусственным интеллектом!

[blanko27]

P.S. Только вот Азбука некстати продаёт Boston Dynamics. ... Так были бы все технологии в одних руках.

Может быть Page продает Boston Dynamics для того, чтобы Маск мог снова спокойно спать по ночам

...about the major fear keeping him [Musk] up at night: namely that Google's cofounder and CEO Larry Page might well have been building a fleet of artificial intelligence-enhanced robots capable of destroying mankind. "I'm really worried about this," Musk said. It didn't make Musk feel any better that he and Page were very close friends and that he felt Page was fundamentally a well-intentioned person and not Dr. Evil. In fact, that was sort of the problem. Page's nice-guy nature left him assuming that the machines would forever do our bidding. "I'm not as optimistic," Musk said. "He could produce something evil by accident."

[blanko27]

Вы смеётесь а я сегодня двадцать минут на хотлайне пресловутой Аппле висел, так и не дождавшись ответа. И это "премиум" сегмент блин. Всех уволить и заменить искусственным интеллектом!

Когда на хот-лайне Эппла, это не так страшно. А вот когда в госпитале 4 часа не могут дурацкую кардиограмму с анализом крови проанализировать, потому, что все доктора на триаде заняты - это в наше врем бардак. Я думаю, что ML на первичный анализ результатов тестов заточить уже технически и экономически возможно...просто медицина такая индустрия специфическая, что туда без пулемета не сунешься, скальпелями закидают.

[Deckel]

Я то звонил Аппле по поводу здоровья их железки а не человека. Могли бы и позаботиться о своих детях электронных

[x.angie]

P.S. Только вот Азбука некстати продаёт Boston Dynamics. ... Так были бы все технологии в одних руках.

Может быть Page продает Boston Dynamics для того, чтобы Маск мог снова спокойно спать по ночам

...about the major fear keeping him [Musk] up at night: namely that Google's cofounder and CEO Larry Page might well have been building a fleet of artificial intelligence-enhanced robots capable of destroying mankind. "I'm really worried about this," Musk said. It didn't make Musk feel any better that he and Page were very close friends and that he felt Page was fundamentally a well-intentioned person and not Dr. Evil. In fact, that was sort of the problem. Page's nice-guy nature left him assuming that the machines would forever do our bidding. "I'm not as optimistic," Musk said. "He could produce something evil by accident."

Я как бы не Маск (где я, а где Маск), но я не понимаю всей этой движухи вокруг "AI хочет убить humankind!!!111 Ну или поработить".

Пока "in a wild" войны на истребление (не просто драки между парой особей или стаями, а именно масштабные войны) замечены только для человека. Никакой другой вид животных так не воюет. Из чего делается вывод, что здесь нужно что-то вроде человеческого сознания, что бы найти причины начать такую войну, а потом успешно её вести.

Но даже AlphaGo - это всего лишь набор алгоритмов, какое там сознание? Просто алгоритмы, всё более и более усложняющиеся. Мне кажется, что для создания искуственного сознания должен быть качественный скачёк, either в аппаратной части (что-то квантовое) or программной (нужно именно что сознание, AlphaGo не сможет осознать себя и начать войну против человечества, как ни крути).

Так что, как мне кажется, еще рано выпускать Берлагу Маска на арену с криками "Мы все умрём!!1111".

[Deckel]

Я как бы не Маск (где я, а где Маск), но я не понимаю всей этой движухи вокруг "AI хочет убить humankind!!!111 Ну или поработить".

Пока "in a wild" войны на истребление (не просто драки между парой особей или стаями, а именно масштабные войны) замечены только для человека. Никакой другой вид животных так не воюет. Из чего делается вывод, что здесь нужно что-то вроде человеческого сознания, что бы найти причины начать такую войну, а потом успешно её вести.

Но даже AlphaGo - это всего лишь набор алгоритмов, какое там сознание? Просто алгоритмы, всё более и более усложняющиеся. Мне кажется, что для создания искуственного сознания должен быть качественный скачёк, either в аппаратной части (что-то квантовое) or программной (нужно именно что сознание, AlphaGo не сможет осознать себя и начать войну против человечества, как ни крути).

Так что, как мне кажется, еще рано выпускать Берлагу Маска на арену с криками "Мы все умрём!!1111".

Есть опасение, что мы даже не поймем, за что они нас мочат.

[blanko27]

Есть опасение, что мы даже не поймем, за что они нас мочат.

Есть опасение, что они тоже, просто матрицы так сошлись...

[blanko27]

Где должен быть командир? Впереди, на лихом боевом коне!

Nvidia creates a 15B-transistor chip for deep learning

deep learning has become a new computing platform, and the company is dealing with hundreds of startups in the space that plan to take advantage of the platform. [$5 billion was invested last year in A.I. startups]
...
Nvidia has also built a 170-teraflop DGX-1 supercomputer using the Tesla P100 chip.
"This is a beast of a machine, the densest computer ever made"

[blanko27]

Новая книжка по Deep Learning от членов Google Brain team, пока в HTML формате.

[flip_flop]

Новая книжка по Deep Learning от членов Google Brain team, пока в HTML формате.

Да, я тоже давал ссылку, на 3-ьей странице - http://www.nowozin.net/sebastian/blog/t ... books.html" onclick="window.open(this.href);return false; . Книга вполне интересна, обновляется периодически, будем надеяться на скорую публикацию.

[flip_flop]

Где должен быть командир? Впереди, на лихом боевом коне!

Nvidia creates a 15B-transistor chip for deep learning

deep learning has become a new computing platform, and the company is dealing with hundreds of startups in the space that plan to take advantage of the platform. [$5 billion was invested last year in A.I. startups]
...
Nvidia has also built a 170-teraflop DGX-1 supercomputer using the Tesla P100 chip.
"This is a beast of a machine, the densest computer ever made"

"Наш ответ Чемберлену" - http://www.nextplatform.com/2015/10/05/ ... -learning/" onclick="window.open(this.href);return false;

Основополагающее отличие KNL от GPU - KNL по сути массивно параллельный CPU: socketed, selfbootable. Тогда как GPU в принципе не может обойтись без CPU (2 Xeon в случае DGX-1), KNL в принципе самодостаточен.

Как бы там ни было, от конкуренции чипов и систем на их основе, deep learning только выиграет.

[blanko27]

Да, я тоже давал ссылку, на 3-ьей странице ...

Спасибо, я как-то лопухнулся, поискал по "deeplearningbook.org", ничего не нашел на Привете, и подумал, что открыл Америку

Вопрос к годподам с академическим наклоном Есть-ли какая разница между uncertainty и stochasticity. А то автор Deep Learning в начале разделил их, а потом стал использовать взаимозаменяемо (то ли я так криво читаю) Посмотрел в источниках, вроде бы, строго говоря, это разные понятия.

Просмотрел главу по linear algebra (очередной refreshment никогда не помешает), там, определяя операцию broadcasting, он по-моему, column с row vector подменил (или сделал transpose и не указал на это)

[blanko27]

Как бы там ни было, от конкуренции чипов и систем на их основе, deep learning только выиграет.

Интересно, сколько он электричества сожрет? Не помну, где в интернете видел бенчмарки, новый NVIDIA 8 CPU-core/256 GPU-core Tegra X1 потреблюет только 13 ватт на Caffe AlexNet. Такое сложно побить.

[flip_flop]

Как бы там ни было, от конкуренции чипов и систем на их основе, deep learning только выиграет.

Интересно, сколько он электричества сожрет? Не помну, где в интернете видел бенчмарки, новый NVIDIA 8 CPU-core/256 GPU-core Tegra X1 потреблюет только 13 ватт на Caffe AlexNet. Такое сложно побить.

И "наши" (KNL) и "ваши" (Pascal) чипы для Deep Learning "кушают" примерно по 300 ВТ на чип. Те, которые для мобильных платформ, типа Тегр и Атомов, это совсем другая история, с примерно одинаковым потреблением. GPU core в интерпретации NVIDIA (те ещё пиарщики) - это совсем не те core, которые в CPU. Например, в Pascal их (CUDA cores) 3840, хотя по функциональности, число собственно параллельных вычислительных блоков (Streaming Multiprocessor) - 56, что коррелирует с "нашими" 72-мя ядрами CPU (KNL). Вообщем, архитектуры разные и терминология тоже не эквивалентна.

Впрочем, как бы то ни было, Pascal действительно "крутой" чип и интересно было по "покрутить" его (вернее, плату на его основе в составе обычной платформы) в реальных задач, тех же Deep Learning. Так же, как и KNL. Пожалуй время поскрести по сусекам

[flip_flop]

Да, я тоже давал ссылку, на 3-ьей странице ...

Спасибо, я как-то лопухнулся, поискал по "deeplearningbook.org", ничего не нашел на Привете, и подумал, что открыл Америку

Да ничего страшного, Вам спасибо за привлечение внимания к достойной книге

Вопрос к господам с академическим наклоном Есть-ли какая разница между uncertainty и stochasticity. А то автор Deep Learning в начале разделил их, а потом стал использовать взаимозаменяемо (то ли я так криво читаю) Посмотрел в источниках, вроде бы, строго говоря, это разные понятия.

Великолепный вопрос. На самом деле. Truly. Я, хоть и не господин и не с академическим уклоном именно в статистике (для меня статистика скорее прикладная), постараюсь начать дискуссию.

Кратко - неопределённость (uncertainty) удобно аппроксимируется стохастичностью (stochasticity).

Чуть более подробно. По природе своей нечто является вполне определённым и закономерным, но мы всей закономерности не знаем или не хотим знать (видел много раз ) и оно для нас представляется как неопределённое. В этом случае мы заменяем это нечто (сложную "физику") простой эмпирикой - статистической/стохастической моделью и используем эту модель на всю катушку. Результаты могут быть не совсем аккуратными (по сравнению с "глубокой физикой"), но в целях простоты этим никто не заморачивается. По природе своей сущности различны, но по проявлениям своим (или по моделям проявлений) сущности интерпретируется одинаково, отсюда и взаимозаменяемость на практике, например, вероятно, в нашей книге. Эээ... пора мне начать её читать, наверное

Более подробно. Вопрос философский и имеет философские интерпретации. Я был впечатлён раскрытием нашего вопроса в философских трактатах Цицерона, в книге было три трактата "О природе Богов. О дивинации. О судьбе" Читал лет двадцать пять тому назад, уже не помню в каком трактате эта тема была раскрыта, но сделано это было хорошо. Наверное, более поздние философские эпигоны тоже задавались этим вопросом и имеют свои ответы.

Просмотрел главу по linear algebra (очередной refreshment никогда не помешает), там, определяя операцию broadcasting, он по-моему, column с row vector подменил (или сделал transpose и не указал на это)

Хм, я вроде линейную алгебру знаю (знал?), но термина broadcasting не помню именно в линейной алгебре. В численных методах и их программировании я знаю эту операцию и она применима к массивам различной размерности, в том числе как к вектору столбцу так и к вектору строке. Эээ... пора мне начать книгу читать, наверное

[Физик-Лирик]

Вопрос к годподам с академическим наклоном Есть-ли какая разница между uncertainty и stochasticity. А то автор Deep Learning в начале разделил их, а потом стал использовать взаимозаменяемо (то ли я так криво читаю) Посмотрел в источниках, вроде бы, строго говоря, это разные понятия.

Я данную книгу не смотрел ... но сюда по всему, в контексте книги это два одинаковых понятия.

Кратко - неопределённость (uncertainty) удобно аппроксимируется стохастичностью (stochasticity).

Честно говоря, я не припомню литературы, где бы обсуждалось сравнение двух понятий. Однако, идея рассматривать неопределённость как явление, а стохастичность как процесс, безусловно, правильная. В этом плане рассматривать эволюцию процесса с неопределённостью как стохастический процесс вполне разумно и допустимо. Однако, для количественной характеристики неопределённости необходимо ввести метрику. Обычно это делается путём введение вероятностного пространства (которое, зачастую точно и не определено, но предполагается существующим), сигма-алгебры и вероятностной меры (Колмогоровский подход). Далее, случайная величина будет рассматриваться как измеримая функция. Стохастический процесс определен как последовательность измеримых функций. Аппроксимация стохастических процессов "математическими" (как говорилось выше) - стандартный подход в моделировании. Но думаю в рамках цитируемой книги понятия взаимозаменяемые.
Про связь бродкастинга и линейной алгебры тоже не слышал. Было бы неплохо посмотреть на пример.