Python -> ML

[caltrain]

Объясните, что надо, чтобы заниматься ML и надо ли?
Последние полтора года пишу на Python-e, или API, или автоматизация для AWS/Docker.
Со всякими биг-дата дела не имел. Общий уровень L5/L6.
Если сильно размыто,  конечно, давайте уточняющие вопросы.

[caltrain]

По поводу этой связки питон+МЛ, стоило мне в резюме добавить питон, с рекрутерский спам добавился ML. Хотя, как я понимаю, есть две совершенно разные области применения питона: OPS-вское vs Data Science. Или не совершенно разные?

[deev_a_v]

Питон сам по себе не имеет никакого отношения к ML или Data Science.
Это простенький язык программирования, на котором люди, не искушенные в кодировании, могут быстренько слепить программку для своей предметной области.

Грубо говоря Питон заместил Фортран в академии.

[caltrain]

Это простенький язык программирования, на котором люди, не искушенные в кодировании, могут быстренько слепить программку для своей предметной области.

Понял. Обратное: для людей искушённых в кодировании, не искушённых в предметной области, насколько оправдано начать заниматься ML? как инвестиция времени и может каких-то денег.

[Big W]

В инете полно ресурсов на эту тему. Много конечно рекламы всяких псевдо-курсов типа "Become Data Scientist in 5 minutes" но есть и вполне вменяемые, например
https://towardsdatascience.com/5-beginn ... 69e211ade5
https://www.youtube.com/watch?v=tGyfmzuR4d4

[Uzito]

Понял. Обратное: для людей искушённых в кодировании, не искушённых в предметной области, насколько оправдано начать заниматься ML? как инвестиция времени и может каких-то денег.

Представьте что вы столяр. Делаете тумбочки, шкафчики, столики. И вот у вас появился электролобзик которым можно всякую всячину вырезать. Вы этот инструмент освоили слегка и стали свою продукцию украшать вычурными финтифлуюшками. А тут вдруг оказывается, что есть спрос на выпиливание этим лобзиком керамической плитки для укладки полов. Про укладку полов Вы ничего не знаете, знаете только что за нее деньги платят неплохие.

Так и с питоном - можно делать разные вещи, если хотите переквалифицироваться и к предметной области интерес есть,то но наверное можно попробовать, благо спрос имеется. А если интереса нет, то наверное лучше продолжать в уже освоенной области - там спрос не уменьшается.

[DropAndDrag]

Понял. Обратное: для людей искушённых в кодировании, не искушённых в предметной области, насколько оправдано начать заниматься ML? как инвестиция времени и может каких-то денег.

Представьте что вы столяр. Делаете тумбочки, шкафчики, столики. И вот у вас появился электролобзик которым можно всякую всячину вырезать. Вы этот инструмент освоили слегка и стали свою продукцию украшать вычурными финтифлуюшками. А тут вдруг оказывается, что есть спрос на выпиливание этим лобзиком керамической плитки для укладки полов. Про укладку полов Вы ничего не знаете, знаете только что за нее деньги платят неплохие.

Так и с питоном - можно делать разные вещи, если хотите переквалифицироваться и к предметной области интерес есть,то но наверное можно попробовать, благо спрос имеется. А если интереса нет, то наверное лучше продолжать в уже освоенной области - там спрос не уменьшается.

тоже посматриваю на ML, но не вижу вариантов притянуться в своих проектах.
по-мне пример со столяром не очень. как насчет такого. студент научился находить максимум и минимум функции. попалась странная функция и он не знает как сделать лучше. узнает, что в ML есть сценарий, алгоритмы которого заточены на это дело. Он затаскивает данные функции, крутит алгоритмы и выбирает лучший результат.
ML сценарии и алгоритмы известны. библиотеки для них разработаны. библиотеки можно вызывать в Питоне и любом другом языке. при использовании алгоритма надо крутить его параметры, которые ИМХО не имеют никакой логической связи с результатом.
на днях рылся в Microsoft Visual Studio и наткнулся на существование AutoML (2013 год). он работает на уровне сценариев - выбрал сценарий, задал данные и AutoML прокручивает возможные алгоритмы с их параметры для данного сценария, находит лучший и создает код. Так что пользователю осталось крутить - набором (разнообразием) входных данных, кол-вом данных и временем настройки параметров алгоритма.
так что интересны - примеры, где народ смог успешно применить ML (вернее как поставленную проблему удалось разбить на куски, в которых удалось применить MLs) и их наборы удачных и неудачных входных данных. например, как Alpha Zero забабахали.

надеюсь прав ...

[Uzito]

так что интересны - примеры, где народ смог успешно применить ML (вернее как поставленную проблему удалось разбить на куски, в которых удалось применить MLs) и их наборы удачных и неудачных входных данных. например, как Alpha Zero забабахали.

Прикладные результаты я видел пока стандартно:
1) прикрутить ML к стоковому тикеру или алтернативному источнику, пущай показывает куда маркет двигаться будет в следующие 5 минут, а мы покупать/продавать будем

Результат очевиден
https://readthehedge.com/2020/09/16/tra ... y-options/

2) прикрутить ML к источнику покупок/продаж, пусть предстазывает что покупатели будут покупать, а мы им рекламу с купонами сопутствующих продуктов будем присылать. Этот вариант более-менее упешен, однако почему Амазон три недели после покупки унитаза продолжает показывать рекламу унитазов?
Спрос на продукты в период коронавирусного апокалипсиса предсказать не смог никто. Всё требуемые покупателями продукты Out of stock.

3) Распознавание образов 1. Отличные результаты, кошечку от собачки отличает в 99% случаев. Но показать где кошечка, на большой картинке не способны.

4) Распознавание образов 2. Натренировали алгоритм на миллионе картинок, предварительно визуально отсортированных врачами. Успешно сортирует картинки на хорошие/плохие, но без анализа почему хорошие или почему плохие пользы от такой сортировнки мало, а стандартный алгоритм без всякого ML диагноз ставит тока так.

[M. Ridcully]

1) прикрутить ML к стоковому тикеру или алтернативному источнику, пущай показывает куда маркет двигаться будет в следующие 5 минут, а мы покупать/продавать будем

Результат очевиден
https://readthehedge.com/2020/09/16/tra ... y-options/

Нуачо, тут грех ML винить - что программе сказали сделать, она и сделала:

Cedar Hill’s algorithm had done exactly what it was designed to do in modeling the behavior of a r/wallstreetbets user

Но показать где кошечка, на большой картинке не способны.

Это не так.

[DropAndDrag]

так что интересны - примеры, где народ смог успешно применить ML (вернее как поставленную проблему удалось разбить на куски, в которых удалось применить MLs) и их наборы удачных и неудачных входных данных. например, как Alpha Zero забабахали.

Прикладные результаты я видел пока стандартно:
1) прикрутить ML к стоковому тикеру или алтернативному источнику, пущай показывает куда маркет двигаться будет в следующие 5 минут, а мы покупать/продавать будем

Результат очевиден
https://readthehedge.com/2020/09/16/tra ... y-options/

2) прикрутить ML к источнику покупок/продаж, пусть предстазывает что покупатели будут покупать, а мы им рекламу с купонами сопутствующих продуктов будем присылать. Этот вариант более-менее упешен, однако почему Амазон три недели после покупки унитаза продолжает показывать рекламу унитазов?
Спрос на продукты в период коронавирусного апокалипсиса предсказать не смог никто. Всё требуемые покупателями продукты Out of stock.

3) Распознавание образов 1. Отличные результаты, кошечку от собачки отличает в 99% случаев. Но показать где кошечка, на большой картинке не способны.

4) Распознавание образов 2. Натренировали алгоритм на миллионе картинок, предварительно визуально отсортированных врачами. Успешно сортирует картинки на хорошие/плохие, но без анализа почему хорошие или почему плохие пользы от такой сортировнки мало, а стандартный алгоритм без всякого ML диагноз ставит тока так.

эти примеры очевидны и такие данные прилагаются в примерах.
вот например, коллега получил новый TEM микроскоп, который кажется (не знаю пока) имеет какую-то пушку (кажется не электронную). пушка бьет по образцу, что-то как-то хаотично разлетается, регистрируется микроскопом и image полный garbage. найти в каком направлении что-то там и как-то движется
или натянуть ML на mass spectrum https://en.wikipedia.org/wiki/Mass_spectrum

[DropAndDrag]

Но показать где кошечка, на большой картинке не способны.

Это не так.

да, находит. но вот примеров, где что будет если есть
- и кошак, и собак
- 2 кошака
- и т.п.
не попадались.

[M. Ridcully]

Но показать где кошечка, на большой картинке не способны.

Это не так.

да, находит. но вот примеров, где что будет если есть
- и кошак, и собак
- 2 кошака
- и т.п.
не попадались.

Просто гуглите не image classification, а detection.
Модели вроде RCNN, SSD, YOLO.

[Big W]

Но показать где кошечка, на большой картинке не способны.

Это не так.

да, находит. но вот примеров, где что будет если есть
- и кошак, и собак
- 2 кошака
- и т.п.
не попадались.

Просто гуглите не image classification, а detection.
Модели вроде RCNN, SSD, YOLO.

Есть готовые сервисы, которыми можно пользоваться бесплатно в ограниченном объеме, см. например обзор
https://www.altexsoft.com/blog/image-recognition-apis/

[Komissar]

Последние полтора года пишу на Python-e, или API, или автоматизация для AWS/Docker.
Со всякими биг-дата дела не имел. Общий уровень L5/L6.

L6 автоматизацией докера точно не занимается, L5 - редко

[IvanGrozniy]

Это простенький язык программирования, на котором люди, не искушенные в кодировании, могут быстренько слепить программку для своей предметной области.

Понял. Обратное: для людей искушённых в кодировании, не искушённых в предметной области, насколько оправдано начать заниматься ML? как инвестиция времени и может каких-то денег.

Если есть интерес, то, наверное, стоит заниматься. Но я заметил на своем опыте, что перескочить с программирования в МЛ можно только с потерей зарплаты. Опыта нет в этой области, может как-то косвенно пристроится в отдел к ученым, чтобы на подхвате быть и помогать собирать у упорядочивать данные для них.
С другой стороны у меня появилась масса идей после прохождения курса по AI для применения полученных данных к извлечении выгоды при самостоятельном построении моделей. Одна из последних - применить последовательные модели машинного обучения для того, чтобы краткосрочно торговать акциями. Данные можно у брокера накачать, а железо для вычислений бесплатно гугл дает. Сейчас с нынешней работой свободного времени для этого нет, но я уверен что через пару лет буду много зарабатывать на этих воплощенных идеях. Нести эти идеи инвесторам интереса не имею. Пусть они дальше рекламки для покупателей подсчитывают. Зачем другим людям давать зарабатывать на том что я сам могу реализовать и наживаться?

[deev_a_v]

Одна из последних - применить последовательные модели машинного обучения для того, чтобы краткосрочно торговать акциями. Данные можно у брокера накачать, а железо для вычислений бесплатно гугл дает.

Отличный способ потерять деньги