Machine Learning again

[blanko27]

Кратко - неопределённость (uncertainty) удобно аппроксимируется стохастичностью (stochasticity).

Честно говоря, я не припомню литературы, где бы обсуждалось сравнение двух понятий. Однако, идея рассматривать неопределённость как явление, а стохастичность как процесс, безусловно, правильная. В этом плане ...

Господа, спасибо за объяснения в первом приближении, а глубже этот вопрос, оказывается, изучается в Information Theory, в которой я ни в зуб ногой. Придется что-то почитать/поизучать на эту тему...

Про бродкастинг там совсем просто, но автор сам отмечает, что "In the context of deep learning, we also use some less conventional notation.We allow the addition of matrix and a vector, yielding another matrix..."
Я извиняюсь, там кривые постскриптовские фонты в определениях, поэтому загляните сами, когда будет время. http://www.deeplearningbook.org/content ... gebra.html

[blanko27]

Что-то подумалось...раньше эта профессия называлась квант, и люди даже книжки про себя писали My Life as a Quant: Reflections on Physics and Finance
Сейчас, если кто-то автобиографию напишет с названием "My Life as a Data Scientist", наверное будет смешно выглядеть...

Романтизьму нету, выпить спокойно не дают, нет прежней красоты

[АццкоМото]

Вы смеётесь а я сегодня двадцать минут на хотлайне пресловутой Аппле висел, так и не дождавшись ответа. И это "премиум" сегмент блин. Всех уволить и заменить искусственным интеллектом!

там и так искусственный интеллект made in india

[fruit6]

Что-то подумалось...раньше эта профессия называлась квант, и люди даже книжки про себя писали My Life as a Quant: Reflections on Physics and Finance
Сейчас, если кто-то автобиографию напишет с названием "My Life as a Data Scientist", наверное будет смешно выглядеть...

Романтизьму нету, выпить спокойно не дают, нет прежней красоты

:umnik1:

Да, читаю топик и каждый раз такое ощущение что либо работа кванта на wall street исчезает как класс либо неудавшимся ученым некуда податься, а заниматься тупым программингом им неохота.

[Физик-Лирик]

Да, читаю топик и каждый раз такое ощущение что либо работа кванта на wall street исчезает как класс либо неудавшимся ученым некуда податься, а заниматься тупым программингом им неохота.

А что ученые не люди что ли? Им тоже бабло срубать охота. Нет неудавшихся ученых (степень, требующую пяти лет учёбы, защиты и публикаций, на халяву не срубишь). Есть PhD, вовремя снявшие розовые очки и понявшие, что современная наука - это тоже скорее погоня за баблом. Так зачем себе так усложнять существование, когда можно окунуться туда (в процесс срубания бабла) с головой, имея явное преимущество по сравнению с другими, которые неученые? Романтизм, действительно, кончился (даже у молодых ученых). Мир стал однообразен и скучен, так как заточен под баблосы. Глубоко уважаю тех оставшихся романтиков, которые ищут успокоения от суеты сего мира в творчестве.
А Дейта сайнс - это скорее игра воображения бывших сиквельщиков, рекламный ход для очередного срубания баблосиков. Круговорот баба в природе. Ничего нового. Зато как сейчас продажи идут!

[blanko27]

А скажите пожалуйста, видел тут несколько дней назад по телевизору robotic butler, что-то типа вот этого. Какую технику они используют для понимания речи?

[flip_flop]

А скажите пожалуйста, видел тут несколько дней назад по телевизору robotic butler, что-то типа вот этого. Какую технику они используют для понимания речи?

Ну, там не одна техника, скорее всего, а их совокупность в рамках приложения. Вот, нашёл, неплохой обзор текущего состояния - http://www.slideshare.net/FujitsuTS/fuj ... -computing" onclick="window.open(this.href);return false; . Slide - 11. Джентельменский набор, но без конкретики - machine learning, reinforced learning, deep learning. "Деталей не будет." ©

Fijutsu вообще падки на всякие новшества. Года три назад на одной из конференций их доклад выделялся на фоне других по HPC & Big Data. На уровне государства они успешно повышали показатели по борьбе с преступностью и предсказанию/оповещению цунами. Душевная фирма и вся в красном

[blanko27]

Душевная фирма и вся в красном

Так вот почему у этого робота большая красная кнопка на пузе. Что-то мне подсказывает, что на кнопке "ВЫКЛ" по-японски написано (не "Карлсон mode")

[flip_flop]

Душевная фирма и вся в красном

Так вот почему у этого робота большая красная кнопка на пузе. Что-то мне подсказывает, что на кнопке "ВЫКЛ" по-японски написано (не "Карлсон mode")

Да, хоть что-то, но должно быть красным. А уж от презентаций и буклетов в глазах рябит.

"Fujitsu Red, the main color which expresses enthusiasm for the future, brightness and approachability." ©

[ALV00]

back to Machine Learning again
Кто-нибудь может объяснить, почему именно сейчас стал надуваться этот пузырь? А то видим кучу гиков с умными лицами и сплошной туман. Такое впечатление, что вот-вот изобретут искусственный интеллект. Происходит какой-то прорыв что ли? Качественный скачок? Но по какой причине и в чем он выражается? Мат.статистика существует очень давно. Кластерные системы два десятка лет как минимум. Алгоритмика все та же, как в книжке Кнута. Нейронные сети хрен знает сколько лет прозябали в безвестности по причине своей бесполезности. В чем цимес?

[x.angie]

back to Machine Learning again
Кто-нибудь может объяснить, почему именно сейчас стал надуваться этот пузырь? А то видим кучу гиков с умными лицами и сплошной туман. Такое впечатление, что вот-вот изобретут искусственный интеллект. Происходит какой-то прорыв что ли? Качественный скачок? Но по какой причине и в чем он выражается? Мат.статистика существует очень давно. Кластерные системы два десятка лет как минимум. Алгоритмика все та же, как в книжке Кнута. Нейронные сети хрен знает сколько лет прозябали в безвестности по причине своей бесполезности. В чем цимес?

Есть мнение что, что из-за 1) массовой доступности больших вычислительных мощностей (aka облачка), 2) повалила Big Data - все эти фейсбучеки, твиттерки и прочие поисковые машинки, 3) вот это всё.

То есть, много данных стало дёшево и много высчислительных мощностей стало дёшево. Стряхнули пыль с нейронных сеточек, и попёрло. Плюс, в ML важнее не алгоритмы, а у кого больше данных. Алгоритмы тоже важны, но данные важнее. Ну а больше данных стало сами знаете что.

Прорыв такой что стало гораздо проще и дешевле делать интеллектуальные помощники (слабый ИИ) - все эти сири с кортанами и прочие боты из пиццерии.

[Физик-Лирик]

back to Machine Learning again
Кто-нибудь может объяснить, почему именно сейчас стал надуваться этот пузырь? А то видим кучу гиков с умными лицами и сплошной туман. Такое впечатление, что вот-вот изобретут искусственный интеллект. Происходит какой-то прорыв что ли? Качественный скачок? Но по какой причине и в чем он выражается? Мат.статистика существует очень давно. Кластерные системы два десятка лет как минимум. Алгоритмика все та же, как в книжке Кнута. Нейронные сети хрен знает сколько лет прозябали в безвестности по причине своей бесполезности. В чем цимес?

Не совсем так. Не знаю, являетесь Вы поклонником диалектики, но то, что мы наблюдаем есть переход количества в качество. Оставим в стороне "облака", обсудим алгоритимику, как Вы её тут назвали. Если попытаться применять старые (последовательные) методы на данных, размер которых на несколько порядков выше, с чем работали еще лет десять назад, то понятно, эти методы будут работать на несколько порядков дольше. А оно нам надо? Отсюда задача - распараллелить. Все ли алгоритмы можно распараллелить? Естественно нет. Значит нужны новые и соответствующая имплементация. Более того выяснилось, что в силу той же диалектики поведение (ну очень) многомерных пространств оказалось не таким, как интуитивно представлялось на основе двумерных обобщений. Опять нужны новые методики.
Почему мода пошла? Из-за Биг дейты. Раньше этой Дейты было мало, её кроме ученых особо никто не использовал. Сейчас её много из-за железа и софта для хранения и переработки, стали использовать. Появился спрос на тех, кто понимает мат. модели. Под этим соусом ввели термин Дейта сайнтист (я просто .... недоумеваю) и выделили деньги. Народ фишку просек, стали все кому не лень себя учеными обзывать (куда не глянь - сплошь ученые с бакалавром маячат, ну такие ученые эти бакалавры-ученые), что породило пузырь. Сейчас все стало как бы устаканиваться в том смысле, что просекают, что бывшие аналисты и сиквельщики - никакие не ученые. Зарплаты подсели. Все как в начале 2000. Спрос есть, но уже на специалистов, а не на ученых с бакалавров.
А так в смысле бизнеса задачи вполне приличные. Это направление достойно существования.

[blanko27]

Смотрел тут NVIDIA GTC 2016 на youtube, там Андрей Нг такую аллегорию высказал: чтобы ракету запустить, надо много горючего (даты) и большой двигатель (вычислительной мощности). Если горючего мало, то ракета высоко не взлетит, если двигатель будет маленький, то может вообще от земли не оторваться. Теперь даты много, и новые GPU по 20 терафлопов для 16-битов появились - взлетай - не хочу!
Кстати, их DGX-1 - абсолютная сказка, datacenter в одной коробке

[flip_flop]

Смотрел тут NVIDIA GTC 2016 на youtube, там Андрей Нг такую аллегорию высказал: чтобы ракету запустить, надо много горючего (даты) и большой двигатель (вычислительной мощности). Если горючего мало, то ракета высоко не взлетит, если двигатель будет маленький, то может вообще от земли не оторваться. Теперь даты много, и новые GPU по 20 терафлопов для 16-битов появились - взлетай - не хочу!
Кстати, их DGX-1 - абсолютная сказка, datacenter в одной коробке

Интересная коробочка, но проблема в том, что они по прежнему нуждаются в Intel CPU, без оного никак. В то время, как Knights Landing base solutions самодостаточны. Пожалуй возьму "свою" коробочку на попробовать. Интересно, что именно deep learning двигает конкуренцию, от которой в выигрыше пользователи.

[ALV00]

Смотрел тут NVIDIA GTC 2016 на youtube, там Андрей Нг такую аллегорию высказал: чтобы ракету запустить, надо много горючего (даты) и большой двигатель (вычислительной мощности). Если горючего мало, то ракета высоко не взлетит, если двигатель будет маленький, то может вообще от земли не оторваться. Теперь даты много, и новые GPU по 20 терафлопов для 16-битов появились - взлетай - не хочу!
Кстати, их DGX-1 - абсолютная сказка, datacenter в одной коробке

Интересная коробочка, но проблема в том, что они по прежнему нуждаются в Intel CPU, без оного никак. В то время, как Knights Landing base solutions самодостаточны. Пожалуй возьму "свою" коробочку на попробовать. Интересно, что именно deep learning двигает конкуренцию, от которой в выигрыше пользователи.

Какие практические задачи можно решать на таких штуках простому смертному?

[flip_flop]

Смотрел тут NVIDIA GTC 2016 на youtube, там Андрей Нг такую аллегорию высказал: чтобы ракету запустить, надо много горючего (даты) и большой двигатель (вычислительной мощности). Если горючего мало, то ракета высоко не взлетит, если двигатель будет маленький, то может вообще от земли не оторваться. Теперь даты много, и новые GPU по 20 терафлопов для 16-битов появились - взлетай - не хочу!
Кстати, их DGX-1 - абсолютная сказка, datacenter в одной коробке

Интересная коробочка, но проблема в том, что они по прежнему нуждаются в Intel CPU, без оного никак. В то время, как Knights Landing base solutions самодостаточны. Пожалуй возьму "свою" коробочку на попробовать. Интересно, что именно deep learning двигает конкуренцию, от которой в выигрыше пользователи.

Какие практические задачи можно решать на таких штуках простому смертному?

То, что хорошо распараллеливается. В основном - для задач HPC. Для простых смертных - возможно, биткоинты клепать

[blanko27]

Да, Ninja машина грозная, но с точки зрения machine learning вопрос, конечно, интересный: Intel Knights Landing work loads vs NVIDIA GeForce

Like Brian said, the Xeon Phi cores are not at all comparable to the CUDA ones. The problem with the Phi is that it's somewhere between two horses.

If you are doing highly parallel floating point calculations, NVIDIA will provide you with something like 3 times the performance at 1/4th of the price. For double precision the gap is smaller, but NVIDIA still ends up being 20% cheaper for the same performance.

If your problem is very hard to parallelize, the Phi will not help you at all and instead something like an Intel Xeon will give you the best performance.

The sweet spot for the Phi is then something highly parallel, but divergent, i.e. each thread has to do something different. An example of this would be Monte Carlo simulations. They are for instance used in simulations of radiotherapy treatments, where GPUs only give a small (~2x) speed-up over a standard CPU.

Intel is also trying to sell the the Xeon Phi on the fact that you only need to rewrite your code minimally. However, for anything that is not trivial to parallelize, the work becomes the same as for a GPU

[Deckel]

Google объявил что они сделали ASIC процессоры для TensorFlow.

[flip_flop]

Да, Ninja машина грозная, но с точки зрения machine learning вопрос, конечно, интересный: Intel Knights Landing work loads vs NVIDIA GeForce

Like Brian said, the Xeon Phi cores are not at all comparable to the CUDA ones. The problem with the Phi is that it's somewhere between two horses.

If you are doing highly parallel floating point calculations, NVIDIA will provide you with something like 3 times the performance at 1/4th of the price. For double precision the gap is smaller, but NVIDIA still ends up being 20% cheaper for the same performance.

If your problem is very hard to parallelize, the Phi will not help you at all and instead something like an Intel Xeon will give you the best performance.

The sweet spot for the Phi is then something highly parallel, but divergent, i.e. each thread has to do something different. An example of this would be Monte Carlo simulations. They are for instance used in simulations of radiotherapy treatments, where GPUs only give a small (~2x) speed-up over a standard CPU.

Intel is also trying to sell the the Xeon Phi on the fact that you only need to rewrite your code minimally. However, for anything that is not trivial to parallelize, the work becomes the same as for a GPU

Это цитата из открытого форума вопросов и ответов, корректность eё отдельных выводов под большим вопросом. Например, теоретическая производительность (в TFLOPS) для Float в два раза выше чем для Double и для первой платформы и для другой. Не 6, как следовало бы из цитаты, а 2. Сравнение ядер неправомерно, это принципиально разные архитектуры, это верно, но сентенция о двух конях непонятна. Если задача не параллелизуется, то это делает бесполезными две платформы в равной степени, а не только одну. Работа по нетривиальной параллелизации требуется в любом случае, но для GPU это будет CUDA, а во втором случае - стандартная инфраструктура компиляторов, дебаггеров, профайлеров обычного C/C++. Поскольку обычные CPU давно уже многоядерные, то есть много библиотек, в том числе для machine learning, уже распараллеленных, и они будут идти на всех CPU, как обычных, так и массивно параллельных.

Впрочем, результаты реальных тестов от независимых (это архиважно!, а то мы знаем как производители могут пиарить свои продукты, особенно NVidia ) пользователей могут быть разнообразными и весьма интересными. Ждём-с.

[blanko27]

Это цитата из открытого форума вопросов и ответов, корректность eё отдельных выводов под большим вопросом. ...

Вы знаете, я привел эту цитату, потому, что она выражает мое мнение, а самому писать лень было, извините
Логика автора цитаты в том, что для распаралеливания у NVIDIA есть CUDA, а у Intel-а - Parallel Studio, и "for free" параллелизма и там и там не добиться. У NVIDIA "просой паралеллизм" с корокими critical path-ами "per core" дешевле выходит, и core-ов в 10 раз больше. Это как раз то, на что deep learning лучше всего накладывается.
Но я, в принципе, ни на чьей стороне, так, поддержать дискуссию Вы правы, что от этой конкуренции мы только в выйгрыше остаемся.

[Deckel]

Knights Landing base solutions
Какие практические задачи можно решать на таких штуках простому смертному?

Можно autosklearn запускать, который сам и переменные закодирует и ансамбль моделей подберёт. Я гонял на 100 cores.

[Сабина]

Снова Mint насчитал такой скор что верить ему после этого точно не стоит. За месяц подскочил на сотню, из всего что произошло - мой новый моргидж после перефинансирования появился.
Надо ради прикола проверить Кредит карму

[blanko27]

Снова Mint насчитал такой скор что верить ему после этого точно не стоит.

Не пужайтесь граждане Который тут гражданин Горбушкин?
Сабина, там кто-то вверху конкурс предлагал. Давайте нам ваши расходы, а мы вам в качестве конкурса credit score насчитаем. У кого с вашими чувствами ближе сойдется - тот и победил.

[Сабина]

Снова Mint насчитал такой скор что верить ему после этого точно не стоит.

Не пужайтесь граждане Который тут гражданин Горбушкин?
Сабина, там кто-то вверху конкурс предлагал. Давайте нам ваши расходы, а мы вам в качестве конкурса credit score насчитаем. У кого с вашими чувствами ближе сойдется - тот и победил.

Неинтересно. Ни тебе машин лёнинга, ни даже здравого смысла

[blanko27]

Неинтересно. Ни тебе машин лёнинга, ни даже здравого смысла

А зря, лишаете себя удовольствия! Мы бы с беспристрастным профессионализмом определили размеры ваших сентиментов