Machine Learning again

[flip_flop]

По мне так DL, точнее Data Science - это для тех кто не любит "засучивать рукава" То есть лично мне оно нравится как такая приятная recreational activity, но что то мне подсказывает что если лично я прямо сейчас пойду в эту сферу платить мне будут меньше, а мне еще младшенького надо доучить три года. А потом - эх, трава не расти - пойду в DL

Боюсь, наши штатные даталоги с такой оценкой могут не согласиться, по крайней мере с оценкой того, что это для тех, кто не любит "засучивать рукава". Насчёт оплаты вообще ничего сказать не могу, потому как и не погромист и не даталог. Физик-Лирик, Снежная Королева, ау?

Вы невнимательно прочитали . Я же написала "если я сейчас пойду". Это совсем непоказательно для других

Понял, виноват, невнимателен, исправлюсь.

[flip_flop]

Вот, наверное, хорошая книга будет Intel Xeon Phi Processor High Performance Programming: Knights Landing Edition 2nd Edition 2nd Edition

Книга хороша, на этот раз евангелисты привлекли даже чиф-архитектора в соавторы. Прикупил книгу, придёт в день выхода в свет (1 июля), пора выписывать станцию и играться.

Книгу получил, понравилась, в целом на голову выше первой книги (по Knights Corner). Рассмотрена архитектура KNL, иерархия памяти и как её программировать (MCDRAM как системная память или как кэш или как гибридная память вместе с DDR4), data layout, и многое другое, важное для максимума производительности. Выпишу станцию, поставлю на неё все стандартные (С/С++, Matlab, Julia, Eclipse, etc. ) средства разработки и начну играться с 288 потоками и 16 GB MCDRAM в одном корпусе и на одном сокете. Правда, в свободное от основной работы время

[blanko27]

Книгу получил, понравилась...

Поздравляю! Я про MCDRAM тоже немножко интродакшн от Reinders-а послушал, и еще есть более продвинутая лекция на youtube-е (пока не слушал). Эта MCDRAM, если я чего-то не путаю, напоминает управляемый кэш, подобный NVIDIA-овской shared memory, только более конфигурируемая (везде теперь чудятся GPU )

[Deckel]

Вот, наверное, хорошая книга будет Intel Xeon Phi Processor High Performance Programming: Knights Landing Edition 2nd Edition 2nd Edition

Книга хороша, на этот раз евангелисты привлекли даже чиф-архитектора в соавторы. Прикупил книгу, придёт в день выхода в свет (1 июля), пора выписывать станцию и играться.

Книгу получил, понравилась, в целом на голову выше первой книги (по Knights Corner). Рассмотрена архитектура KNL, иерархия памяти и как её программировать (MCDRAM как системная память или как кэш или как гибридная память вместе с DDR4), data layout, и многое другое, важное для максимума производительности. Выпишу станцию, поставлю на неё все стандартные (С/С++, Matlab, Julia, Eclipse, etc. ) средства разработки и начну играться с 288 потоками и 16 GB MCDRAM в одном корпусе и на одном сокете. Правда, в свободное от основной работы время

Расскажите, как от знания этой архитектуры переходят к зарабатыванию денег? Без подколов, просто интересно. У вас уже есть задачи, на которые производительности не хватает или легко найти "потребителей"?

Я напримен пользуюсь Qlikview in-memory analytics. Это приложение по определению зависимо от процессора и работы с памятью. Но у производителя свои программисты и оно closed source. Или, например, библиотека Inten MKL, которая используется с питоном для некоторых machine learning приложений, ее наверное можно запатчить, если там еще нет оптимизации под этот процессор. Intel за это заплатит?

[flip_flop]

Расскажите, как от знания этой архитектуры переходят к зарабатыванию денег? Без подколов, просто интересно.

Лично я на именно этом знании (архитектуры) не зарабатываю. Полуофициальная добавка к основной работе и обоснованное любопытство, подкреплённое возможностями. Правда, знаю некоторые фирмы, которые на этом делают деньги. Colfax, например. Можете посмотреть. Это если для широкого сегмента. В области суперкомпьютеров много чего, но это, видимо, не ширпотреб.

У вас уже есть задачи, на которые производительности не хватает

Хронически. Моделирование и симуляция. Типа HPC.

Или, например, библиотека Inten MKL, которая используется с питоном для некоторых machine learning приложений, ее наверное можно запатчить, если там еще нет оптимизации под этот процессор.

Там уже довольно давно всё есть. Можно разрабатывать на хосте (обычном процессоре, Хеон или i7, например) а прогонять на Xeon Phi. MKL полностью поддерживается KNL, это как бы один из краеугольных камней, без которого дело швах. Для machine learning есть добавки в Intel Parallel Studio v 17 beta, включая MKL. Бум и баззворды инициировали внимание к ML: Здесь, например. И здесь

[Физик-Лирик]

По мне так DL, точнее Data Science - это для тех кто не любит "засучивать рукава" То есть лично мне оно нравится как такая приятная recreational activity, но что то мне подсказывает что если лично я прямо сейчас пойду в эту сферу платить мне будут меньше, а мне еще младшенького надо доучить три года. А потом - эх, трава не расти - пойду в DL

Боюсь, наши штатные даталоги с такой оценкой могут не согласиться, по крайней мере с оценкой того, что это для тех, кто не любит "засучивать рукава". Насчёт оплаты вообще ничего сказать не могу, потому как и не погромист и не даталог. Физик-Лирик, Снежная Королева, ау?

Пардон, был в отпуске и "Привет" не читал.
Ситуация вот какая. Если работать в ЕТЛ (а это сейчас тоже обзывается ДС - Дейта сайнсом или Дейта инжинирингом), то платить соответственно будут как ЕТЛу. Если работать в предиктив аналитикс да и с доктором, то можно побольше чем программисту выбить. По моим наблюдениям сейчас идет тренд ДС + бакалавр. Раньше всё больше доктора требовали. Наверное, все доктора закончились. Зарплата ДС + бакалавр = программист или поменьше. Наверное, имеет смысл попробовать проинтервьюироваться. Другой тренд - программист с некоторым знанием ДС. Платят, скорее, как программисту.

[Физик-Лирик]

По мне так DL, точнее Data Science - это для тех кто не любит "засучивать рукава" То есть лично мне оно нравится как такая приятная recreational activity

Очень зависит. Сказать по правде, мне ДС уже надоедать стал. Скучные позиции, скучные задачи (это я не про текущую свою работу). Все изгадили одним термином ДС. Предиктив аналитикс как небольшой оазис среди того дерьма, что сейчас называют ДС. Мыслят терминами, а не понятиями. Задач толком ставить не умеют. Короче скукота. Это я про бизнес аналитикс. В ресётче как бы всё пока нормально.

[flip_flop]

По мне так DL, точнее Data Science - это для тех кто не любит "засучивать рукава" То есть лично мне оно нравится как такая приятная recreational activity, но что то мне подсказывает что если лично я прямо сейчас пойду в эту сферу платить мне будут меньше, а мне еще младшенького надо доучить три года. А потом - эх, трава не расти - пойду в DL

Боюсь, наши штатные даталоги с такой оценкой могут не согласиться, по крайней мере с оценкой того, что это для тех, кто не любит "засучивать рукава". Насчёт оплаты вообще ничего сказать не могу, потому как и не погромист и не даталог. Физик-Лирик, Снежная Королева, ау?

Пардон, был в отпуске и "Привет" не читал.
Ситуация вот какая. Если работать в ЕТЛ (а это сейчас тоже обзывается ДС - Дейта сайнсом или Дейта инжинирингом), то платить соответственно будут как ЕТЛу. Если работать в предиктив аналитикс да и с доктором, то можно побольше чем программисту выбить. По моим наблюдениям сейчас идет тренд ДС + бакалавр. Раньше всё больше доктора требовали. Наверное, все доктора закончились. Зарплата ДС + бакалавр = программист или поменьше. Наверное, имеет смысл попробовать проинтервьюироваться. Другой тренд - программист с некоторым знанием ДС. Платят, скорее, как программисту.

Хмм... Снежная королева была о ДС более высокого мнения Работать в дата науках с бакалавром - что то тут концептуально, онтологически не так, надо или название переделать (ДИ?) или же требовать таки докторов, или, по крайней мере мастеров.

Что такое ЕТЛ? (пардон, запамятовал).

Если мы тут о machine learning, то это попадает в ваш оазис predictive analytics, или как? Или тоже оно среди ... ну того самого ...

[Мальчик-Одуванчик]

Книгу получил, понравилась, в целом на голову выше первой книги (по Knights Corner). Рассмотрена архитектура KNL, иерархия памяти и как её программировать (MCDRAM как системная память или как кэш или как гибридная память вместе с DDR4), data layout, и многое другое, важное для максимума производительности. Выпишу станцию, поставлю на неё все стандартные (С/С++, Matlab, Julia, Eclipse, etc. ) средства разработки и начну играться с 288 потоками и 16 GB MCDRAM в одном корпусе и на одном сокете. Правда, в свободное от основной работы время

между Knights Corner и следующей генерацией сильно большая разница? В принципе мне тоже хочется поиграться с распараллеливанием, но цена на карточки 7120 сильно кусается, в то время как 5120 вполне можно найти по неплохой цене.

[flip_flop]

Книгу получил, понравилась, в целом на голову выше первой книги (по Knights Corner). Рассмотрена архитектура KNL, иерархия памяти и как её программировать (MCDRAM как системная память или как кэш или как гибридная память вместе с DDR4), data layout, и многое другое, важное для максимума производительности. Выпишу станцию, поставлю на неё все стандартные (С/С++, Matlab, Julia, Eclipse, etc. ) средства разработки и начну играться с 288 потоками и 16 GB MCDRAM в одном корпусе и на одном сокете. Правда, в свободное от основной работы время

между Knights Corner и следующей генерацией сильно большая разница? В принципе мне тоже хочется поиграться с распараллеливанием, но цена на карточки 7120 сильно кусается, в то время как 5120 вполне можно найти по неплохой цене.

Пока что нет Knights Landing карточек (сопроцессоров), есть только процессоры, по разной цене. Проблема в том, что они требуют определённых плат с поддержкой их сокета. Скоро должны появится и обычные PCIe карточки (сопроцессоры) и с широким разбросом цен.

Разница большая, но с точки зрения распараллеливания Knights Corner может в какой то мере быть использован как "макет" для массивной параллелизации/векторизации для Knights Landing (KNL). В то же время, последний продукт раза в три быстрее предыдущего как для параллельных так и для последовательных задач, гораздо более гибок и конфигурируемый (2 типа памяти для процессора, поддержка и UMA и NUMA), имеет более развитую систему команд и пр. Так что не знаю даже что и посоветовать ...

[Мальчик-Одуванчик]

Присматриваюсь к этой материнке http://b2b.gigabyte.com/products/produc ... id=5132#ov" onclick="window.open(this.href);return false;
и карточке с сопроцессором к ней https://www.amazon.com/dp/B00OMCB4JI/re ... SNHP85L1CD" onclick="window.open(this.href);return false;
На материнку поставить 6 или 8 ядерный проц, на котором отлаживать проги в Intel Parallel Studio, а на сопроцессоре их потом прогонять

[flip_flop]

Присматриваюсь к этой материнке http://b2b.gigabyte.com/products/produc ... id=5132#ov" onclick="window.open(this.href);return false;
и карточке с сопроцессором к ней https://www.amazon.com/dp/B00OMCB4JI/re ... SNHP85L1CD" onclick="window.open(this.href);return false;
На материнку поставить 6 или 8 ядерный проц, на котором отлаживать проги в Intel Parallel Studio, а на сопроцессоре их потом прогонять

Плата хорошая. Карточка сама по себе тоже ничего, хотя и хуже раза в три новой модели, но дешёвая, "маленькие но по три" © . Но! Проверьте карточку и плату на взаимную совместимость. Иначе возможна ситуация - поставили карточку и вместо загрузки - бип, бип, бип и ничего, даже нет синего экрана смерти, BIOS до этого не доходит. "Спросите меня, откуда я знаю" © По идее, серверные платы должны поддерживаться, но не все, так что - возможны казусы - проверьте.

[Физик-Лирик]

Хмм... Снежная королева была о ДС более высокого мнения Работать в дата науках с бакалавром - что то тут концептуально, онтологически не так, надо или название переделать (ДИ?) или же требовать таки докторов, или, по крайней мере мастеров.

Что такое ЕТЛ? (пардон, запамятовал).

Если мы тут о machine learning, то это попадает в ваш оазис predictive analytics, или как? Или тоже оно среди ... ну того самого ...

Это зависит от того, что подразумевать под ДС. Сейчас это больше уже ЕТЛ (ETL - извлечение данных, их трансформация и загрузка в нужное место ). Кому-то это очень нравится. Мне заниматься только этим было бы скучно. Кстати, ЕТЛ - это отдельная область, требующая высокую квалификацию. Ничего такого не могу сказать. Просто зачем называть это ДС? Снежная Королёва занимается моделями. И хотя для любой модели ЕТЛ будет необходимым этапом, этим всё же этим занимаются другие люди (сейчас популярен термин инженер по данным). Модели - это как раз тот оазис, о котором я говорил. Это интересно. Да, МЛ - это как раз часть ПА (предиктив аналитикс). Вот там как раз и математика.

[Deckel]

На материнку поставить 6 или 8 ядерный проц, на котором отлаживать проги в Intel Parallel Studio, а на сопроцессоре их потом прогонять

Почему не сразу на сопроцессоре?

[Сабина]

На одном митапе организуют воркшоп, длинной в субботу. В эту субботу они в double tree в Санта Монике. Стоит удовольствие 199, от 9 am - 9 pm научат строить data pipiline со Спарком и Tensor Flow и проанализировать все собранное всякими ML tools

[flip_flop]

На материнку поставить 6 или 8 ядерный проц, на котором отлаживать проги в Intel Parallel Studio, а на сопроцессоре их потом прогонять

Почему не сразу на сопроцессоре?

Потому что не пойдёт (на KNC). Так же как на  GPU с CUDA. В принципе, KNC, в отличие от GPU - ведомый процессор (бут ведётся хостом), и после бута на нём уже стоит весьма куцый линукс. Я кое что пытался инсталлировать, кое что получалось (мазохизм тот ещё ), но Intel Parallel Studio инсталлируется не от исходников а от бинарников, так что ... даже из чистого любопытства не получится. Да даже если бы и теоретически получилось, то не имело бы смысла, последовательные процессы на KNC весьма медленные. KNL - другое дело, совместим по бинарникам с Xeon и полноценный самодостаточный процессор. Версия со-процессора появится попозже и тогда можно будет оценить достоинства/недостатки режима CPU и режима со-процессора (Xeon + KNL PCIe) для разных задач.

KNC - уже интересная игрушка, KNL - поинтереснее будет, но новая генерация будет ещё занятней

[Deckel]

На материнку поставить 6 или 8 ядерный проц, на котором отлаживать проги в Intel Parallel Studio, а на сопроцессоре их потом прогонять

Почему не сразу на сопроцессоре?

Потому что не пойдёт (на KNC).
...
KNC - уже интересная игрушка, KNL - поинтереснее будет, но новая генерация будет ещё занятней

А, я пропустил, что это предыдущая версия.

[blanko27]

Стоит удовольствие 199, от 9 am - 9 pm

однако...

[blanko27]

... Да, МЛ - это как раз часть ПА (предиктив аналитикс). Вот там как раз и математика.

Чем больше читаю по данному предмету, убеждаюсь, что не столько математики, сколько voodoo, а затем математикой пытаются объясбнить удачные результаты. Очень интересны на эту тему лекции CS224d по NLP (это которое Natural Language Processing, не Neuro-Linguistic Programming, хотя мне все время кажется, что наоборот )

[Сабина]

ML and IА hackaton с достойными судьями и призами . Никто не желает поучаствовать ?
http://www.eventbrite.com/e/hackathon-r ... ANCEDSPARK" onclick="window.open(this.href);return false;

Steven Sinofsky from Andereesen Horowitz will also be judging

Our partners from San Francisco Artificial Intelligence meetup group and community are hosting the ML learning hackathon on July 16th and 17th.

This hackathon includes awesome workshops to improve your skills at TensorFlow, Scikit-learn, Pandas, neon and much more.

The exciting part of it is that NVIDIA's CEO Jen-Hsun is giving a courtesy to the folks and will announce the brand new GTX card!

Also, Sarah Guo from Greylock Venture Capital Partners (more high-profile judges TBA) is judging the competition, so it's a great opportunity to present your vision to one of the top VC firms in the valley.

[Физик-Лирик]

... Да, МЛ - это как раз часть ПА (предиктив аналитикс). Вот там как раз и математика.

Чем больше читаю по данному предмету, убеждаюсь, что не столько математики, сколько voodoo, а затем математикой пытаются объясбнить удачные результаты.

Я не знаю, о каких книгах/статьях идет речь, но МЛ - математика в чистом виде (точнее, прикладная математика). Почитайте не вводные книжки, а посерьёзнее с доказательствами теорем. Возьмите, например, книги по суппорт вектор машин (либо классику, либо посовременней). Напишите потом, если сможете осилить их до конца. Потом нам всем будите здесь объяснять про "редюсинг кернел хилберт спейс" (вот сказал) Многие методы основаны на оптимизации в виде регуляризации Тихонова. Одна математика. А оценки точности? Чистая статистика. Уменьшение размерности - чистая линейная алгебра. Другое дело, что на практике все пользуются готовыми пакетами. А само построение модели - да, вещь в себе. Согласен, не столько наука, сколько искусство. Но тоже не все так просто и однозначно. Геммор ещё тот.

[blanko27]

Я не знаю, о каких книгах/статьях идет речь...

Я упомянул там в верху - лекции CS224d по NLP - обсуждаются последние бумаги со странными коэффициентами которые улучшают результаты классификаций - теории пока нет, только intuition. Вообще слово intuition очень распространено в ML в силу специфики задач: работает "как-то оно так", но в closed form описать проблематично (иначе зачем бы этот ML был кому-то нужен)

Возьмите, например, книги по суппорт вектор машин (либо классику, либо посовременней). ...

Вы абсолютно правы, это очень интересно, но я не "гуру" ("Я ведь ещё только учусь!"), мне для практики пока совершенно достаточно понимть, что в SVM используется feature space transformation для построения margin maximizing hyperplane (этакий супер-пупер linear classifier) и оставить тонкости доказательств для тех кто нацелен на развитие ML как науки.

[Физик-Лирик]

Справедливости ради, Blanko27 в чем-то прав. В ML есть многие алгоритмы, которые дают хорошую predictive power но нет теории. Теорию (доказательства) пытаются натянуть за уши задним числом.

У меня довольно традиционный департамент статистики в универе, но мы обсуждаем много статей из ML. У меня создалось впечатление, что половина статей из области ML начинается так:

"Вот есть алгоритм, который хорошо работает на практике, но никто не знает точно почему. В этой статье мы возьмем маленький частный случай и докажем, что в данном случае будет сходимость по вероятности ... И т.п. "

Приведите примеры алгоритмов, которые не основаны на теории? Может мы говорим о разных вещах, но я зная только один, глубокое обучение, где, на мой взгляд, нет пока теории, которая бы объясняла его работу. Точнее есть много разных объяснений, начиная с теоремы Цыбенко (Универсальная аппроксимационная теорема) и заканчивая физическими теориями. Всё остальное имеет теоретическую базу. Другое дело, что теория "говорит", что метод работает, а на практике необходимо "подкрутить" большое количество параметров, что создаёт большие проблемы. Именно поэтому, я, например, не люблю нюрал нетворк.
В целом я уже подчёркивал, что процесс построения моделей многошаговый, и прогон самого МЛ алгоритма есть лишь один из этапов.

[blanko27]

Другое дело, что теория "говорит", что метод работает, а на практике необходимо "подкрутить" большое количество параметров, что создаёт большие проблемы. Именно поэтому, я, например, не люблю нюрал нетворк.

На самом деле, вот именно это "подручивание параметров" я и имел в виду говоря о voodoo в ML. В теории, как вы и сами подтверждаете, все выглядит отлично

[flip_flop]

"Подкручивание параметров" тоже имеет свою теорию, несмотря на большие проблемы. Можно пользоваться теорией (что сложно), а можно объявить это "вуду", пользоваться стандартными пакетами, ходить на митапы по их использованию и наслаждаться несложной жизнью (что проще, приятнее, и естественнее).