Py.orgСабина wrote: ↑03 Oct 2021 05:23 Обращусь тут, потому что в вопросы IT больше никто не ходит видимо
Вопрос к датасатанистам. В частности к тем кто и за своих дата инженеров работает .. И прочти ML инженерам кто у ФААНГов оттяпал длинных доллар
Слабо подсказать хорошую питоновскую библиотеку , а заодно и алгоритмы обсчёта и визуализации timeseries data .
Merlion is a Python library for time series intelligence. It provides an end-to-end machine learning framework that includes loading and transforming data, building and training models, post-processing model outputs, and evaluating model performance. It supports various time series learning tasks, including forecasting and anomaly detection for both univariate and multivariate time series. This library aims to provide engineers and researchers a one-stop solution to rapidly develop models for their specific time series needs, and benchmark them across multiple time series datasets.
Merlion's key features are
Standardized and easily extensible data loading & benchmarking for a wide range of forecasting and anomaly detection datasets.
A library of diverse models for both anomaly detection and forecasting, unified under a shared interface. Models include classic statistical methods, tree ensembles, and deep learning approaches. Advanced users may fully configure each model as desired.
Abstract DefaultDetector and DefaultForecaster models that are efficient, robustly achieve good performance, and provide a starting point for new users.
AutoML for automated hyperaparameter tuning and model selection.
Practical, industry-inspired post-processing rules for anomaly detectors that make anomaly scores more interpretable, while also reducing the number of false positives.
Easy-to-use ensembles that combine the outputs of multiple models to achieve more robust performance.
Flexible evaluation pipelines that simulate the live deployment & re-training of a model in production, and evaluate performance on both forecasting and anomaly detection.
Native support for visualizing model predictions.
Спасибо попробую. В итоге записалась на класс своего любимого препода, если что интересное узнаю - поделюсьBig W wrote: ↑03 Oct 2021 19:17 Сам не датасатанист, но недавно в каком-то форуме на глаза попалось вот такое на эту тему:
https://github.com/salesforce/MerlionMerlion is a Python library for time series intelligence. It provides an end-to-end machine learning framework that includes loading and transforming data, building and training models, post-processing model outputs, and evaluating model performance. It supports various time series learning tasks, including forecasting and anomaly detection for both univariate and multivariate time series. This library aims to provide engineers and researchers a one-stop solution to rapidly develop models for their specific time series needs, and benchmark them across multiple time series datasets.
Merlion's key features are
Standardized and easily extensible data loading & benchmarking for a wide range of forecasting and anomaly detection datasets.
A library of diverse models for both anomaly detection and forecasting, unified under a shared interface. Models include classic statistical methods, tree ensembles, and deep learning approaches. Advanced users may fully configure each model as desired.
Abstract DefaultDetector and DefaultForecaster models that are efficient, robustly achieve good performance, and provide a starting point for new users.
AutoML for automated hyperaparameter tuning and model selection.
Practical, industry-inspired post-processing rules for anomaly detectors that make anomaly scores more interpretable, while also reducing the number of false positives.
Easy-to-use ensembles that combine the outputs of multiple models to achieve more robust performance.
Flexible evaluation pipelines that simulate the live deployment & re-training of a model in production, and evaluate performance on both forecasting and anomaly detection.
Native support for visualizing model predictions.
Всегда помогает четко знать, что именно хочешь узнать от данных.
Нет. Но это узкая domain , нет смысла лезть в детали.
Могу только книжку создателя pandas на русском подсказать -Сабина wrote: ↑03 Oct 2021 05:23 Обращусь тут, потому что в вопросы IT больше никто не ходит видимо
Вопрос к датасатанистам. В частности к тем кто и за своих дата инженеров работает .. И прочти ML инженерам кто у ФААНГов оттяпал длинных доллар
Слабо подсказать хорошую питоновскую библиотеку , а заодно и алгоритмы обсчёта и визуализации timeseries data .
Вы не понимаете. Как раз таки Data engineering tools ( airflow, spark, streaming, GCP ML stack etc ) я владею на А+. В данном случае мне нужно представить данные чтобы отстоять свою идею - development project . А когда у тебя час времени и большая аудитория - Visualization is the keyСнежная Королева wrote: ↑05 Oct 2021 02:46 Сабина, если для работы, вам оно не надо, поверьте мне. Дата сайенс это 80% DE, еще 10% знание конкретного бизнеса, 5% анализ и 5% sales (виз, презентации, snake oil stakeholder influence).
Анализ делать стоит армия желающих business majors etc, и за это не платят. Sales надо иметь credentials + харизма. Простые смертные делают деньги в DE.
Не надо вам time series, выучите лучше Airflow, db, Medallion, Holistic, Looker или ещё какой модный DE tool.
Сам был примерно в такой ситуации при защите первого data science проекта. Помогло штудирование всякой теории при ответе на всякие вопросы. Плюс в пилоте проект был - почти готовую сетку взяли из книгиСабина wrote: ↑06 Oct 2021 02:36Вы не понимаете. Как раз таки Data engineering tools ( airflow, spark, streaming, GCP ML stack etc ) я владею на А+. В данном случае мне нужно представить данные чтобы отстоять свою идею - development project . А когда у тебя час времени и большая аудитория - Visualization is the keyСнежная Королева wrote: ↑05 Oct 2021 02:46 Сабина, если для работы, вам оно не надо, поверьте мне. Дата сайенс это 80% DE, еще 10% знание конкретного бизнеса, 5% анализ и 5% sales (виз, презентации, snake oil stakeholder influence).
Анализ делать стоит армия желающих business majors etc, и за это не платят. Sales надо иметь credentials + харизма. Простые смертные делают деньги в DE.
Не надо вам time series, выучите лучше Airflow, db, Medallion, Holistic, Looker или ещё какой модный DE tool.
. Те на вопросы "как" тоже смогли ответить. Оно может и надо, но без знания математики все скорее всего сведется к "ижи с ними", т.е. имплементации взятого с Интернета кода.
Матан не назвалиAndrey Strelnikov wrote: ↑06 Oct 2021 09:27 Мы примерно год вспоминали линейную алгебру, тервер и статистику. Плюс ковыряли на курсах библиотеки.
.То что знаний нет - не спорю, да и не претендую на них. Речь идёт не о конференции какой нибудь, а об основании внутреннего проекта, в тиме где я уже 3 года работаю, о бОльшем тиме - не только backend/Data engineers. Цель - показать сколько всего интересного можно дополнительно извлечь из данных, которые мы собираем ( этот кусок я уже написала в этом году, есть данные, просто на пальцах объяснять и показывать муторно, с правильными картинками было бы куда яснее и быстрее).Andrey Strelnikov wrote: ↑06 Oct 2021 09:27Сам был примерно в такой ситуации при защите первого data science проекта. Помогло штудирование всякой теории при ответе на всякие вопросы. Плюс в пилоте проект был - почти готовую сетку взяли из книгиСабина wrote: ↑06 Oct 2021 02:36Вы не понимаете. Как раз таки Data engineering tools ( airflow, spark, streaming, GCP ML stack etc ) я владею на А+. В данном случае мне нужно представить данные чтобы отстоять свою идею - development project . А когда у тебя час времени и большая аудитория - Visualization is the keyСнежная Королева wrote: ↑05 Oct 2021 02:46 Сабина, если для работы, вам оно не надо, поверьте мне. Дата сайенс это 80% DE, еще 10% знание конкретного бизнеса, 5% анализ и 5% sales (виз, презентации, snake oil stakeholder influence).
Анализ делать стоит армия желающих business majors etc, и за это не платят. Sales надо иметь credentials + харизма. Простые смертные делают деньги в DE.
Не надо вам time series, выучите лучше Airflow, db, Medallion, Holistic, Looker или ещё какой модный DE tool.
Снежная Королева пытается донести мысль, что Вам может не хватить теоретических знаний при защите. Хотя они у Вас возможно есть.
Мы примерно год вспоминали линейную алгебру, тервер и статистику. Плюс ковыряли на курсах библиотеки.
Ничего там страшного нет - все проходили в универе. Я лично два раза мимо проходил.
Извините но я уже запуталась в ваших советах и рекомендациях . Это безотносительно того что на ответ на мой изначальный вопрос они мало похожи. И вы практически ничего не знаете о каком проекте речь. Такое ощущение что вы либо пытаетесь меня от чего то отговорить или сделать акцент на том что я не data scientist отвечая в этой теме. Я - не! Надеюсь это внесло ясностьСнежная Королева wrote: ↑07 Oct 2021 06:14А вы думаете, они не знают?
Вопрос не в том, что можно извлечь insights, вопрос в том что потом с этими insights делать.
Любой analytics project, это три вещи.
Thing 1: DE
Thing 2: DS (analysis, insights)
Thing 3: Change management.
Самая быстрая, лёгкая и приятная (но на которую надо 10 лет учиться), это Thing 2.
Однако, Thing 3 ответственна за 95% failure rate of all proje ts.
В общем, зря потратите время.
. У мня нет никаких слов кроме определённых когда речь заходит про инфру
Я, конечно, не знаю, как у вас все работает, но подсовывать ученым квирес - зачастую дело гиблое. Не потому, что они не знают, а потому, что им не интересно. У вас в группе, похоже, нет контакта между подруппами. Возможно, вопрос к менеджеру. Для данного проекта я бы начал с четкой постановки задачи и определениия критериев оценки. Я здесь особо не вникал, но четкости не очень вижу. Отсюда и разговоры на разных языках. Хотите визуализации - возьмите любой тулс. И еще мой очень субъективный совет - очень осторожно влезайте в их вотчину. Зачастую ученые очень ревниво к этому относятся. Отчасти потому, что сейчас имеет место заменить реальную науку на программистко-аналитические потуги (аналитика еще та). И не давайте себя перебивать. Вежливо, но твердо пресекайте эти попытки заткнуть рот. Хотя моим советам следовать совершенно не обязательно.Сабина wrote: ↑07 Oct 2021 16:06 Дата сатанисты не просто не хотят вникнуть, они после двух , сказанных мной предложений начинают демонстративно перебивать. Из того что они говорят очевидно что они ни минуты не потратили на прочтение и продолжают говорить «мне надо Х», не понимая что им уже дали Х, У и Z. Или просто на дурку стараются это так представить перед другими на митинге что они - “жертва» несовершенных DE процессов.
А проблемы надо решать совместно, а не спихивать друг на друга.