как работает это фигня?

User avatar
Гоша Хороший
Мистер Привет 2018
Posts: 1853
Joined: 03 Dec 2017 20:31
Location: 3.14ter -> 1qver

как работает это фигня?

Post by Гоша Хороший »

вот, взял я курс на каком-то ресурсе. закончил его и мне тут же предлагают следующий курс.

как они знают какой следуюший курс мне взять? как работает это фигня и как ее реализовать?

пока выжу 3 идеи:

* ручная работа: заносим в базу данных курс + следуюшие курсы -> выбираем следующий незаконченный курс
* ключевые словы: заносим в базу данных курс + ключевые слова и их вес -> находим курс с самым высоким баллом
* история других пациентов: если 100 человек взяли курс А, а потом 90 из них взяли курс Б и только 10 из низ взяли курс Ю, то челу, который только-что закончил курс А логично предложить курс Б
Гоша хороший, а Маша еще лучше
User avatar
Sergunka
Уже с Приветом
Posts: 34205
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: как работает это фигня?

Post by Sergunka »

Prediction analytics. У меня даже есть статейка на эту тему со всем по другому печальному поводу кредитные карточки - каково вероятность, что платеж обман.
https://vyatkins.wordpress.com/2020/06/ ... t-and-gbt/

Собственно в статье есть ссылки на классические случаи разбора поведения модели Random Forest (RF) and Gradient Boosted Tree (GBT). Я просто тупо в статье сравниваю их какова там
Как говорится добро пожаловать :fr:

Обычно все ламеры после освоения общей теории идут на https://www.kaggle.com/ осваивать горизонты и шестизначные зарплаты :fr:
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
Гоша Хороший
Мистер Привет 2018
Posts: 1853
Joined: 03 Dec 2017 20:31
Location: 3.14ter -> 1qver

Re: как работает это фигня?

Post by Гоша Хороший »

Sergunka wrote: 13 Mar 2021 02:35 Prediction analytics
спасибо

Sergunka, я прочитал 1-е предложение в вашей статье, но половину слов пришлось гуглить. к тому же, мне не нравится слово random, да и dataset у вас уже был готовый, а у меня ничего нет.

нам дают на работе поиграться (но недолго [пока не выгонят]) с тем, что тебе интересно. я выбрал эту задачку хотя ниразу подобными делами не занимался. все с нуля надо делать.

пока план такой: data warehouse -> data -> cube -> query

но хотел начать с конца и ответить на вопрос: какие данные нужны чтобы подобрать следуюший курс? ключевые слова? история? алгоритм?
Гоша хороший, а Маша еще лучше
Lisa
Уже с Приветом
Posts: 3209
Joined: 25 Jul 2000 09:01

Re: как работает это фигня?

Post by Lisa »

Кмк, в данном случае не надо мудрствовать. Создатель курса скорее всего при создании говорит на какую тему он рекомендует следущий курс. А дальше выбирать из имеющихся по, например, рейтингу, или курс того же преподавателя. Можно ещё подгрузить программу универа и посмотреть что там следующее.
Незачем угадывать то, что известно и так.
User avatar
Sergunka
Уже с Приветом
Posts: 34205
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: как работает это фигня?

Post by Sergunka »

Гоша Хороший wrote: 13 Mar 2021 03:23
Sergunka wrote: 13 Mar 2021 02:35 Prediction analytics
спасибо

Sergunka, я прочитал 1-е предложение в вашей статье, но половину слов пришлось гуглить. к тому же, мне не нравится слово random, да и dataset у вас уже был готовый, а у меня ничего нет.

нам дают на работе поиграться (но недолго [пока не выгонят]) с тем, что тебе интересно. я выбрал эту задачку хотя ниразу подобными делами не занимался. все с нуля надо делать.

пока план такой: data warehouse -> data -> cube -> query

но хотел начать с конца и ответить на вопрос: какие данные нужны чтобы подобрать следуюший курс? ключевые слова? история? алгоритм?
Вам надо взять классический разобранный пример гуглить надо по prediction analytics. На самом деле Вам скорее всего нужен курс по задачам классификации + хорошо бы понимать как тренируется модель на выбранном Вами алгоритме и как работает supervised learning vs unsupervised learning.

В Вашем конкретном примере Вы пропускаете многие детали. К прмеру нужно знать возраст и пол так же неплохо знать профессию и опыт работы и тд.

Когда начнете обучать модель, то на тестовых данных сразу будет видно как у модели увеличивается точность при введение нового параметра feature

То что можно построить на простых данных весовую функцию это понятно, но это даже не прошлый век это времена еще до малой теоремы Ферма :fr:
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
Гоша Хороший
Мистер Привет 2018
Posts: 1853
Joined: 03 Dec 2017 20:31
Location: 3.14ter -> 1qver

Re: как работает это фигня?

Post by Гоша Хороший »

Lisa wrote: 13 Mar 2021 03:45 Кмк, в данном случае не надо мудрствовать. Создатель курса скорее всего при создании говорит на какую тему он рекомендует следущий курс. А дальше выбирать из имеющихся по, например, рейтингу, или курс того же преподавателя. Можно ещё подгрузить программу универа и посмотреть что там следующее.
Незачем угадывать то, что известно и так.
что "не надо мудрствовать" - согласен, да и идея про "курсы того же преподавателя и программу универа" - хорошая. только у нас, похоже, инструкторы в универах не работают и у них максимум 1-2 курса, и они не предлагают курс другого инструктора. ничего не известно, но ваш алгоритм вписывается в мой 1-й - ручная работа (заполнение базы данных)
Гоша хороший, а Маша еще лучше
User avatar
Гоша Хороший
Мистер Привет 2018
Posts: 1853
Joined: 03 Dec 2017 20:31
Location: 3.14ter -> 1qver

Re: как работает это фигня?

Post by Гоша Хороший »

Sergunka wrote: 13 Mar 2021 03:48 То что можно построить на простых данных весовую функцию это понятно, но это даже не прошлый век это времена еще до малой теоремы Ферма :fr:
у нас в компании первобытно-общинный строй в плане AI/ML. мне хотелось бы для начала сделать что-то "простенькое и со вкусом" (тут я согласен с Lisa), а потом дальше думать.

про то как "тренировать модель" - у нас нет никаких данных пока. но будем стараться
Гоша хороший, а Маша еще лучше
User avatar
Мальчик-Одуванчик
Уже с Приветом
Posts: 15477
Joined: 27 Sep 2007 22:53

Re: как работает это фигня?

Post by Мальчик-Одуванчик »

Гоша Хороший wrote: 13 Mar 2021 04:38
Sergunka wrote: 13 Mar 2021 03:48 То что можно построить на простых данных весовую функцию это понятно, но это даже не прошлый век это времена еще до малой теоремы Ферма :fr:
у нас в компании первобытно-общинный строй в плане AI/ML. мне хотелось бы для начала сделать что-то "простенькое и со вкусом" (тут я согласен с Lisa), а потом дальше думать.

про то как "тренировать модель" - у нас нет никаких данных пока. но будем стараться
Самое простое наверное и будет самым оптимальным. Пока что и натренировынные модели предлагают откровенную хрень.
Я как-то взял на udemy курс, который меня не впечатлил, несмотря на кучу хвалебок.
И теперь они постоянно напоминают о себе рекомендациями одна хуже другой.
tessob
Уже с Приветом
Posts: 576
Joined: 07 Jan 2016 13:04

Re: как работает это фигня?

Post by tessob »

То, что описано - это скорее задача коллаборативной фильтрации. Грубо говоря идея решения - если вам понравился курс А и другому юзеру понравились курсы А и Б, то и вам скорее всего курс Б тоже понравится. Ну и соответственно чем лучше выборка, тем точнее гипотиза.

Там всего два актуальных алгоритма:
1. fp-growth
2. Сингулярное разложение

А predictive analytics - это скорее маркетинговый термин вводящий в заблуждение. Это все равно, что писать сайт на user experience.
User avatar
Гоша Хороший
Мистер Привет 2018
Posts: 1853
Joined: 03 Dec 2017 20:31
Location: 3.14ter -> 1qver

Re: как работает это фигня?

Post by Гоша Хороший »

Мальчик-Одуванчик wrote: 13 Mar 2021 06:29 Самое простое наверное и будет самым оптимальным. Пока что и натренировынные модели предлагают откровенную хрень.
Я как-то взял на udemy курс, который меня не впечатлил, несмотря на кучу хвалебок.
И теперь они постоянно напоминают о себе рекомендациями одна хуже другой.
я тут на Netflix кнопочку заметил, которая сама за тебя фильмы выбирает. несколько раз попользовался, вроде бы ничего - фильмы до конца досмотрел. когда сам выбираешь - по полчаса уходит на выбор, а потом через 5 минут выключаешь.

понял, что фильмы надо активно лайкать, чтобы нетфликс твои интересы изучил, а может еще и дизлайкать. но я этого не делаю, просто останавливаю видео. думаю, нетфликс сам догадается, что мне оно не понравилось
Гоша хороший, а Маша еще лучше
User avatar
Гоша Хороший
Мистер Привет 2018
Posts: 1853
Joined: 03 Dec 2017 20:31
Location: 3.14ter -> 1qver

Re: как работает это фигня?

Post by Гоша Хороший »

tessob wrote: 13 Mar 2021 06:46 То, что описано - это скорее задача коллаборативной фильтрации. Грубо говоря идея решения - если вам понравился курс А и другому юзеру понравились курсы А и Б, то и вам скорее всего курс Б тоже понравится. Ну и соответственно чем лучше выборка, тем точнее гипотиза.
значит, я на правильном пути. у нас есть система звездочек для курса, но о студенте знаем только ФИО и email.

коллаборативная фильтрация - звучит романтично
Гоша хороший, а Маша еще лучше
tessob
Уже с Приветом
Posts: 576
Joined: 07 Jan 2016 13:04

Re: как работает это фигня?

Post by tessob »

Гоша Хороший wrote: 13 Mar 2021 08:31у нас есть система звездочек для курса, но о студенте знаем только ФИО и email
Этого достаточно. Важно, чтобы у значительного числа студентов было выбрано более одного курса. Иначе получится фигня.
User avatar
Сабина
Уже с Приветом
Posts: 19045
Joined: 11 Jan 2012 09:25
Location: CA

Re: как работает это фигня?

Post by Сабина »

tessob wrote: 13 Mar 2021 06:46 То, что описано - это скорее задача коллаборативной фильтрации. Грубо говоря идея решения - если вам понравился курс А и другому юзеру понравились курсы А и Б, то и вам скорее всего курс Б тоже понравится. Ну и соответственно чем лучше выборка, тем точнее гипотиза.

Там всего два актуальных алгоритма:
1. fp-growth
2. Сингулярное разложение

А predictive analytics - это скорее маркетинговый термин вводящий в заблуждение. Это все равно, что писать сайт на user experience.
+1. Это из раздела recommendations systems
https://blog.statsbot.co/recommendation ... 67f39ac9a3
https://www.youtube.com/watch?v=wOwblaKmyVw
Lisa
Уже с Приветом
Posts: 3209
Joined: 25 Jul 2000 09:01

Re: как работает это фигня?

Post by Lisa »

tessob wrote: 13 Mar 2021 06:46 То, что описано - это скорее задача коллаборативной фильтрации. Грубо говоря идея решения - если вам понравился курс А и другому юзеру понравились курсы А и Б, то и вам скорее всего курс Б тоже понравится. Ну и соответственно чем лучше выборка, тем точнее гипотиза.

Там всего два актуальных алгоритма:
1. fp-growth
2. Сингулярное разложение

А predictive analytics - это скорее маркетинговый термин вводящий в заблуждение. Это все равно, что писать сайт на user experience.
Это имеет смысл в случае, когда информация неизвестна и ее надо угадать по косвенным признакам. Например, многие после курса по плетению корзинок берут курс по вышиванию крестиком. А если после курса Алгебра I рекомендуют взять Алгебра II, то тут не надо мудрствовать и приумножать сущности, а надо просто эту информацию собрать, тем более что это совсем несложно сделать.
User avatar
Гоша Хороший
Мистер Привет 2018
Posts: 1853
Joined: 03 Dec 2017 20:31
Location: 3.14ter -> 1qver

Re: как работает это фигня?

Post by Гоша Хороший »

Сабина wrote: 13 Mar 2021 17:59 +1. Это из раздела recommendations systems
https://blog.statsbot.co/recommendation ... 67f39ac9a3
спасибо, Сабина! очень доходчиво написано, зачитался и по ссылкам пробежался.

да, похоже, что алгоритмы очевидные и весь вопрос в данных и моделях.

у нас сейчас данные в зачаточном состоянии, но думаю насосать кое-что персональное из Google Analytics и по интересу/ключевым словам предложить 1-й курс, а затем уже и collaborative algorithm включать
Гоша хороший, а Маша еще лучше
User avatar
Гоша Хороший
Мистер Привет 2018
Posts: 1853
Joined: 03 Dec 2017 20:31
Location: 3.14ter -> 1qver

Re: как работает это фигня?

Post by Гоша Хороший »

Lisa wrote: 13 Mar 2021 21:21 Это имеет смысл в случае, когда информация неизвестна и ее надо угадать по косвенным признакам. Например, многие после курса по плетению корзинок берут курс по вышиванию крестиком. А если после курса Алгебра I рекомендуют взять Алгебра II, то тут не надо мудрствовать и приумножать сущности, а надо просто эту информацию собрать, тем более что это совсем несложно сделать.
а как предожить 1-й курс и что брать после алгебры 10?

чтобы продать юзеру что-нибудь ненужное надо хоты бы знать его интересы/ключевые слова
Гоша хороший, а Маша еще лучше
User avatar
valchkou
Уже с Приветом
Posts: 4185
Joined: 27 Apr 2011 03:43
Location: Сергели ->Chicago

Re: как работает это фигня?

Post by valchkou »

Гоша Хороший wrote: 14 Mar 2021 23:15 чтобы продать юзеру что-нибудь ненужное надо хоты бы знать его интересы/ключевые слова
у меня в голове созрело 2 простых способа.
1) создатель курса сам определяет последовательность. Возможно есть другие курсы коорые соотв по похожим критериям
2) наиболее популярный курс Б(топ 3) у тех кто взял курс А. Обычный счётчик + граф.
Lisa
Уже с Приветом
Posts: 3209
Joined: 25 Jul 2000 09:01

Re: как работает это фигня?

Post by Lisa »

Гоша Хороший wrote: 14 Mar 2021 23:15
Lisa wrote: 13 Mar 2021 21:21 Это имеет смысл в случае, когда информация неизвестна и ее надо угадать по косвенным признакам. Например, многие после курса по плетению корзинок берут курс по вышиванию крестиком. А если после курса Алгебра I рекомендуют взять Алгебра II, то тут не надо мудрствовать и приумножать сущности, а надо просто эту информацию собрать, тем более что это совсем несложно сделать.
а как предожить 1-й курс и что брать после алгебры 10?

чтобы продать юзеру что-нибудь ненужное надо хоты бы знать его интересы/ключевые слова
У вас классы разрозненные и логически между собой не связанные? Или же части одного или нескольких курсов?
User avatar
Сабина
Уже с Приветом
Posts: 19045
Joined: 11 Jan 2012 09:25
Location: CA

Re: как работает это фигня?

Post by Сабина »

Гоша Хороший wrote: 14 Mar 2021 23:09
Сабина wrote: 13 Mar 2021 17:59 +1. Это из раздела recommendations systems
https://blog.statsbot.co/recommendation ... 67f39ac9a3
спасибо, Сабина! очень доходчиво написано, зачитался и по ссылкам пробежался.

да, похоже, что алгоритмы очевидные и весь вопрос в данных и моделях.

у нас сейчас данные в зачаточном состоянии, но думаю насосать кое-что персональное из Google Analytics и по интересу/ключевым словам предложить 1-й курс, а затем уже и collaborative algorithm включать
Я тут писала про хороший класс от Стенфорда, он в онлайне, всем доступен сейчас. Из него вы выйдете с готовыми Colab ноутбуками по всем ключевым концепциям ML для бизнеса от одного из лучших data scientists from Google - viewtopic.php?p=7434966#p7434966

Класс стоит 500 что ли, но может вам контора оплатит. Он ещё там приглашает спикеров - NASA, Zillow etc рассказать о текущих проектах
https://www.youtube.com/watch?v=wOwblaKmyVw
User avatar
Гоша Хороший
Мистер Привет 2018
Posts: 1853
Joined: 03 Dec 2017 20:31
Location: 3.14ter -> 1qver

Re: как работает это фигня?

Post by Гоша Хороший »

Lisa wrote: 15 Mar 2021 16:57 У вас классы разрозненные и логически между собой не связанные? Или же части одного или нескольких курсов?
да, курсы все разрозненные и они хостятся на 3rd party server(CMS). у нас нет доступа к этой базе данных (только через admin tool or api). это курсы от разных компаний и даже чтобы найти автора надо парсить текст.

на этой неделе сделал data warehouse, залил туда данные и создал 3 модели на эс-ку-эле :) модели очень грубые, но у меня была задача : proof of concept. наши манагеры хотели оутсорсить этот проект, но я вызвался все сделать сам, сказал что-то типа "дайте мне автомат и пошлите в горячую точку". по-крайней мере, было интересно работать эти 2 недели, да и манагерам, похоже, результат понравился (хотя, может врут)

если пойдет в продакшн, то модели надо настраивать. у меня модели на SQL и запросы к data warehouse. построил также cube, но пока не вижу смысла с ним работать (и так все быстро). хочется сделать что-то умное, решить систему линейных уравнений, но пока еще не понимаю каких, хотя у меня есть матрица: user-course-enrollment, найти корреляцию - но между чем и чем?

собственно вопрос: если продолжать настраивать модель, то в каком направлении двигаться: SQL, Cube/MDX, C#, Python/R, Neural Networks, ...?
Гоша хороший, а Маша еще лучше
User avatar
Гоша Хороший
Мистер Привет 2018
Posts: 1853
Joined: 03 Dec 2017 20:31
Location: 3.14ter -> 1qver

Re: как работает это фигня?

Post by Гоша Хороший »

Сабина wrote: 22 Mar 2021 13:36 но может вам контора оплатит
у нас контора правильная

Image
Гоша хороший, а Маша еще лучше
Lisa
Уже с Приветом
Posts: 3209
Joined: 25 Jul 2000 09:01

Re: как работает это фигня?

Post by Lisa »

Гоша Хороший wrote: 26 Mar 2021 22:54
Lisa wrote: 15 Mar 2021 16:57 У вас классы разрозненные и логически между собой не связанные? Или же части одного или нескольких курсов?
да, курсы все разрозненные и они хостятся на 3rd party server(CMS). у нас нет доступа к этой базе данных (только через admin tool or api). это курсы от разных компаний и даже чтобы найти автора надо парсить текст.

на этой неделе сделал data warehouse, залил туда данные и создал 3 модели на эс-ку-эле :) модели очень грубые, но у меня была задача : proof of concept. наши манагеры хотели оутсорсить этот проект, но я вызвался все сделать сам, сказал что-то типа "дайте мне автомат и пошлите в горячую точку". по-крайней мере, было интересно работать эти 2 недели, да и манагерам, похоже, результат понравился (хотя, может врут)

если пойдет в продакшн, то модели надо настраивать. у меня модели на SQL и запросы к data warehouse. построил также cube, но пока не вижу смысла с ним работать (и так все быстро). хочется сделать что-то умное, решить систему линейных уравнений, но пока еще не понимаю каких, хотя у меня есть матрица: user-course-enrollment, найти корреляцию - но между чем и чем?

собственно вопрос: если продолжать настраивать модель, то в каком направлении двигаться: SQL, Cube/MDX, C#, Python/R, Neural Networks, ...?
Вам нужно сначала разобраться с методикой, а потом подбирать под нее технологии.
Возможно, можно обойтись простым частотным анализом, те кто брал класс А, также брали классы Б, В, Г. Вы смотрели, там какая-то частотная зависимость?
Вообще, какая цель этого проекта? Увеличить продажи классов?
User avatar
Гоша Хороший
Мистер Привет 2018
Posts: 1853
Joined: 03 Dec 2017 20:31
Location: 3.14ter -> 1qver

Re: как работает это фигня?

Post by Гоша Хороший »

Lisa wrote: 27 Mar 2021 04:22 Вам нужно сначала разобраться с методикой, а потом подбирать под нее технологии.
Возможно, можно обойтись простым частотным анализом, те кто брал класс А, также брали классы Б, В, Г. Вы смотрели, там какая-то частотная зависимость?
Вообще, какая цель этого проекта? Увеличить продажи классов?
Lisa, все уже разобрано, подобрано, сделано, реализовано и одобрено менеджерами. вам спасибо за участие.

хотелось бы надеяться, что цель проекта гуманная - помочь юзеру, но похоже, что надо просто "продать что-нибудь ненужное". хотя одно другому не мешает

кароче, как сказал Сергунька (или хотел сказать): "куй железный пока горячий". и тут я с ним абсолютно согласен.

есть у меня "три модели на эс-ку-эле", но на мой взляд - это детский сад. реальные пацаны решают линейные уравнения и ищут корреляцию, а для этого лучше юзать Python or R. отсюда и вопросы.

как настраивать модель? пошлем е-мейлы. кто посмотрел курс и зааплаился - маладец - ставим плюсик (курсу), а кто посмотрел курс и послал лесом - курсу минусик. где-то так
Гоша хороший, а Маша еще лучше
Lisa
Уже с Приветом
Posts: 3209
Joined: 25 Jul 2000 09:01

Re: как работает это фигня?

Post by Lisa »

У меня такое ощущение, что вам просто хочется прикрутить модную технологию, безотносительно реальной необходимости :)
В таком случае все равно на чем делать, берите то, что вам больше хочется изучить.
BabkaNaDvoe
Posts: 1
Joined: 02 Apr 2021 08:29

Re: как работает это фигня?

Post by BabkaNaDvoe »

Sergunka wrote: 13 Mar 2021 02:35 Prediction analytics. У меня даже есть статейка на эту тему со всем по другому печальному поводу кредитные карточки - каково вероятность, что платеж обман.
https://www.azoft.ru/blog/zachem-startapu-nuzhen-mvp/

Собственно в статье есть ссылки на классические случаи разбора поведения модели Random Forest (RF) and Gradient Boosted Tree (GBT). Я просто тупо в статье сравниваю их какова там
Как говорится добро пожаловать :fr:

Обычно все ламеры после освоения общей теории идут на https://www.kaggle.com/ осваивать горизонты и шестизначные зарплаты :fr:
Спасибо, полезная статья. Стоит ли взять курс по задачам классификации, если я с трудом понял написанное и при том не все?

Return to “Работа и Карьера в IT”