Machine Learning again

[Физик-Лирик]

3-4 часа в день - это афигеть как много. Я занимаюсь 1-2 час в день, в выходные 2-3 часа в день. Заканчиваю седьмой год, за это время прошла 2 года бакалавра, плюс два года мастера в статистике, параллельно научилась программировать. Фултайм работу и семью никто не отменял.

Народ, вы что? Зачем дома заниматься-то, когда для этого работа есть. Взяли, почитали книгу, изучили, а в оставшееся время можно и поработать, так сказать, закрепить материал. Дома спортом надо заниматься.
Королева, а Вы мастера тоже без отрыва от работы получали? Если так, то снимаю шляпу. Круто.

P.S. Вот хорошо вам всем. Книги читаете, новый материал изучаете. Цели разные преследуете. А мне вот что делать? Вроде всё, что интересно было, уже изучил, хотя правильнее будет сказать "изучал" (т.к. наверное, половину уже забыл, но хотя бы в принципе изучал). Всё остальное либо неинтересно (хотя может и полезно, но неинтересно), либо непрактично. Остаётся либо двинуть в теоретическую физику либо постоянно менять работу. Ну нету никакого размаха.

Время теоретически ограничено

Вот это мне больше всего понравилось. Давайте со мной в теоретическую физику. Будем вместе время расширять.

[blanko27]

https://lagunita.stanford.edu/courses/H ... 2016/about

лекции от авторов

Bad review

...
There are no derivations, and you don't learn to implement any method - you just use R packages to do it. You do learn a little bit (very tiny bit) about statistics, but not much else. I know what you may be thinking: "there is no need in implementing what is already available". That's true, but when you are taking a class on something, you expect to learn how the methods work, not just use some black box.
...
...you may learn some interesting stuff if you don't have much of a background on the area. Otherwise, it's a waste of time.

[Физик-Лирик]

[quote="Снежная Королева"] интуитивно про regularisation, quote]
Что за диалекты?

Регуляризацию надо по книгам классиков изучать, а не интуитивно. Возьмите классический труд А.Н. Тихонова, там все написано про решения некорректно поставленных задач.
Если вышеупомянутая ссылка про интуитивное объяснение регуяриСации относилась к ридж и лассо, т,е. Л2 и Л1 (а упомянутые выше авторы ими и занимались), то теория интересная (это собственно простое обращение плохо обусловленной матрицы, возникающей в случае коллинеарных переменных). Другое дело, нафига использовать линейную регрессию вообще, когда столько нелинейных методов. Регуляризация также применяется в суппорт вектор машине (задачу можно к ней свести), да и бустинг (например, градиентный) к ней прибегает. Кстати, у упомянутых выше авторов вышла (по моему в прошлом году) новая книга про регуляриационные методы. Никак руки у меня все не дойдут почитать. По бустингу рекомендую книгу с тем же названием. Сразу найдёте. А так, читайте классику В.Н. Вапника.

[Физик-Лирик]

А так работаю все время, мастер на 80% закончен.

Действительно круто

сразу выхожу на маркет

Как я Вас понимаю. Сам в поиске. Пришёл к выводу, что за интересную работу придётся доплачивать из своего кармана. Когда помоложе был (в смысле зарплаты ), все было пофиг. Сейчас жаба душит Короче, опускаюсь на самое дно.

[Rumba]

https://lagunita.stanford.edu/courses/H ... 2016/about

лекции от авторов

Bad review

...
There are no derivations, and you don't learn to implement any method - you just use R packages to do it. You do learn a little bit (very tiny bit) about statistics, but not much else. I know what you may be thinking: "there is no need in implementing what is already available". That's true, but when you are taking a class on something, you expect to learn how the methods work, not just use some black box.
...
...you may learn some interesting stuff if you don't have much of a background on the area. Otherwise, it's a waste of time.

там же много ревьюз, как хороших так и плохих, естественно, раные люди- разные мнения, ну и, понятное дело, взяв один такои класс дэйта саинтистом не станешь, из моего опыта - практически все бесплатные классы ориентированы на "кликните сюда, впечатаите это слово вон в ту строчку", а если теорию и затрагивают, то большеи частью: "let's develop an intuition for this concept" , так что на их фоне этот конкретныи класс далеко не самыи базовыи. чтоб толк был- книжки надо читать, а этот курс как раз таки class- companion к книжке. ну и что немаловажно- comes free and with no strings attached

[Физик-Лирик]

Да, под regularisation понимается L1 and L2.

Зачем линейные методы: затем, что полно задач, когда interpretability в триста раз важнее чем low prediction error.

Ну да, "лассо и "ридж", как я упомянул выше.
На самом деле, интерпретировать можно и нелинейный методами. Думаю, практически все они выводят таблицы значимости переменных. А вот как раз с линейными, если интерпретировать по p-value, геммор и может произойти. Можно легко получит инфлейтид пи-вальюс , если подсчитать по F test в случае коллинеарности. Из линейных, логическая регрессия и пропорциональный хазард - любимые развлечения медиков, считающими себя статистиками. Ну, так понятно. Они же больше ничего и не знают. А тут и "одсы" и "хазард рашиос". Любят они эти регрессии.

[blanko27]

Регуляризацию надо по книгам классиков изучать, а не интуитивно. Возьмите классический труд А.Н. Тихонова, там все написано про решения некорректно поставленных задач.

Обложка у книжки неправильного цвета (не желто-оранжевая) - пропускаем

[Larsonsager]

Интерпретируемость у одиночных деревьев или у маленьких лесов (рощиц?) превосходная.

[Larsonsager]

Вапника и Тихонова даже мне трудно читать, а вы хотите чтобы массы -гы вот для масс трудящихся надо объяснять интуитивно. Начальство тоже хочет объяснений на пальцах.

Не помню, писал ли уже. Недавно натолкнулся в букинисте на книгу со странным названием типа "Методы избавления от мешающих параметров", и хотя по названию совсем не понял, о чём речь, всё-таки открыл её. Книга 60-х годов, а речь там шла, говоря современным машинлернинговым языком, о feature selection. Мне поплохело уже с третьей страницы: суровая математика и совершенно непривычные термины.

[blanko27]

Вы когда нибудь пытались объяснить GBM риск менеджеру?

Was ist das - GBM?

[Физик-Лирик]

Интерпретируемость у одиночных деревьев или у маленьких лесов (рощиц?) превосходная.

Да, но ошибка большая. Надо gradient boosting вводить, а там уже не обьяснить ничего. Кроме того, деревья очень плохо предсказывают out of range. Регрессия тоже плохо предсказывает out of range, но лучше.

Кроме того, Вы когда нибудь пытались объяснить GBM риск менеджеру? Человек имеет phd в математике и 15 лет опыта в индустрии. Phd было в applied maths, статистику не изучал. Понимает только регрессию. Мне не верит (у меня нет phd, мало опыта да и говорю с акцентом). Ничего нового читать не желает. Good luck применять сложные модели с таким business owner-ом.

Я, конечно, могу предположить, что типа народ коэффициентик хочет увидеть. Именно поэтому, как я упоминал выше, логическая регрессия так популярна в определённых кругах. А зачем градиенты бустинг объяснять? Куча ссылок в Интернете. Чего, собственно говорить то? Ну можно сказать, что любой бустиг - лишь применение цепочки слабых классификаторов. Линейная регрессия - хорошая теоретическая модель. Куча литературы. Красивая теория. Однако, выбирать предикторы, да ещё их нелинейные взаимодействия - ещё то удовольствие.
А что есть описание out of range?

[Физик-Лирик]

Gradient boosting machine

Все-таки Метод а не машин.

[Физик-Лирик]

Вы когда нибудь пытались объяснить GBM риск менеджеру?

Was ist das - GBM?

Там прикольчик есть, называться сжатием (shrinkage). Он то и погоду делает. Не только он, конечно. Обычно в качестве слабого классификатора деревья используют.

[Larsonsager]

Да, но ошибка большая. Надо gradient boosting вводить, а там уже не обьяснить ничего. ... Кроме того, Вы когда нибудь пытались объяснить GBM риск менеджеру?

Ну почему же? Так и объяснить: вот есть решающее правило, дерево. А вот другое. Вот десяток. Каждое из них принимает решение, а мы его с такими-то весами усредним (или проголосуем, или еще что). Еще у нас сто других деревьев, но у них вес поменьше. Объяснять менеджеру в тонкости, почему это бустинг, а не беггинг, не случайный лес и что там еще бывает, совершенно не обязательно.

Кроме того, деревья очень плохо предсказывают out of range. Регрессия тоже плохо предсказывает out of range, но лучше деревьев.

Стыдно сказать, но не понял, что такое out of range.

[blanko27]

dup

[blanko27]

Стыдно сказать, но не понял, что такое out of range.

Она, видимо, имеет в виду экстрополяцию.

Машина, метод или модель, это все одно и то же: GBM

Спасибо, узнал новый акроним, а то Гугл все заладил Glioblastoma-Glioblastoma - какая Glioblastoma, не пойму?

The method goes by a variety of names. Friedman introduced his regression technique as a "Gradient Boosting Machine" (GBM). Mason, Baxter et. el. described the generalized abstract class of algorithms as "functional gradient boosting".

A popular open-source implementation[10] for R calls it "Generalized Boosting Model". Commercial implementations from Salford Systems use the names "Multiple Additive Regression Trees" (MART) and TreeNet, both trademarked.

[Alexandr]

это все хорошо, но есть несколько но. Время теоретически ограничено, хотелось бы быть в теме, хотя бы в течении года, максимум двух, чтобы смог бы претендовать на middle role.

плюс например я работаю, и не могу уделять математике и изучению всего всего (да оно на самом деле и не нужно) больше 3-4 часов в день, и то это будет максимум.

4 часа в день - это более, чем достаточно
всего всего - не надо, я имел ввиду "все" с практической точки зрения
+ я параллельно повторяю и математику и смотрю машинное обучение
мне кажется это оптимально

[Alexandr]

P.S. Вот хорошо вам всем. Книги читаете, новый материал изучаете. Цели разные преследуете. А мне вот что делать? ....

вам лет то сколько? может уже и не надо?

[Deckel]

How to Get a Data Science Job: A Ridiculously Specific Guide

http://brohrer.github.io/get_data_science_job.html" onclick="window.open(this.href);return false;

[ystar]

3-4 часа в день - это афигеть как много. Я занимаюсь 1-2 час в день, в выходные 2-3 часа в день. Заканчиваю седьмой год, за это время прошла 2 года бакалавра, плюс два года мастера в статистике, параллельно научилась программировать. Фултайм работу и семью никто не отменял.

по старту примерно столько же и выходит. я ж и на работе, тоже изучаю материал.

но тут какое дело, что читая книжки по программированию, ты не научишься программировать. а если программировать без прочтения книжек/материала, то скажем так, качество будет далеко от хорошего. в общем палка о двух концах.

[Физик-Лирик]

но тут какое дело, что читая книжки по программированию, ты не научишься программировать. а если программировать без прочтения книжек/материала, то скажем так, качество будет далеко от хорошего. в общем палка о двух концах.

В дейта сайнс важно не программировать, а ставить и решать задачи. А этому можно научиться, соответственно решая задачи. А учить язык ... я давно уже на это забил. Надо будет - быстро выучу. И стимул будет. А учить на всякий случай - бессмысленно. Лучше фундаментальные книжки читать по теории. Вон надо мне Скалу было освоить - навалился с энтузиазмом. Потом программирование на Спарке.

P.S. Вот хорошо вам всем. Книги читаете, новый материал изучаете. Цели разные преследуете. А мне вот что делать? ....

вам лет то сколько? может уже и не надо?

А на сколько я выгляжу?

[Think_Different]

Gradient boosting machine

может он не понимает т.к. ты разговариваешь аббревиатурами?
GBM может быть еще geometric Brownian motion

[Think_Different]

Да, но ошибка большая. Надо gradient boosting вводить, а там уже не обьяснить ничего. ... Кроме того, Вы когда нибудь пытались объяснить GBM риск менеджеру?

Стыдно сказать, но не понял, что такое out of range.

видимо имелось в виду out-of-sample.

[Think_Different]

кто что может сказать про следующую книжку:
Trevor Hastie
Robert Tibshirani
Jerome Friedman
Springer Series in Statistics
The Elements of
Statistical Learning
Data Mining, Inference, and Prediction

отличная книжка "An Introduction to Statistical Learning" by Daniela Witten (дочь Эдварда Виттена)

[Alexandr]

А на сколько я выгляжу?

не знаю, но пишите зрело