Что творится с дейта сайнсом?

[Sergunka]

Я просто подавился... чебуреком Миллиарды заботливо подсчитала фин часть нашей корпорации - технически более миллиарда эквизишенс и остаток на зарплаты и прочие глупости навроде Амазон IAAS выездные сессии и корпоративы. Гульнули знатно

И что из этого имеет реальное отношение к внедрению и поддержке?

Давайте вскроем карты я работаю/(работал до сегодняшней недели) в GE Digital. Где Вы работаете? Ну или переиначим вопрос Ваша компанию в Доу Джонсоне, в первой 100 или накрайняк 500?

[Мальчик-Одуванчик]

А как вам задача: расчитать характеристики устройства чтобы оное выдержало гарантийный срок, но развалилось как можно быстрее после истечения.

[Lisa]

Я просто подавился... чебуреком Миллиарды заботливо подсчитала фин часть нашей корпорации - технически более миллиарда эквизишенс и остаток на зарплаты и прочие глупости навроде Амазон IAAS выездные сессии и корпоративы. Гульнули знатно

И что из этого имеет реальное отношение к внедрению и поддержке?

Давайте вскроем карты я работаю/(работал до сегодняшней недели) в GE Digital. Где Вы работаете? Ну или переиначим вопрос Ваша компанию в Доу Джонсоне, в первой 100 или накрайняк 500?

Давайте лучше по-другому. Сколько из созданных вами математических решений используется в реальном бизнесе и в течении какого времени?
А компании да, все входят в 500.

[Sergunka]

А как вам задача: расчитать характеристики устройства чтобы оное выдержало гарантийный срок, но развалилось как можно быстрее после истечения.

Это задача на сопротивление материалов. Если ставить в рамках МЛ, то задача звучит так у нас есть десять лет наблюдений за работой устройства и какой гарантийный срок лучше всего подходит с заданой функцией потерь тут вообще тупая регрессия по временному ряду.

[Sergunka]

Я просто подавился... чебуреком Миллиарды заботливо подсчитала фин часть нашей корпорации - технически более миллиарда эквизишенс и остаток на зарплаты и прочие глупости навроде Амазон IAAS выездные сессии и корпоративы. Гульнули знатно

И что из этого имеет реальное отношение к внедрению и поддержке?

Давайте вскроем карты я работаю/(работал до сегодняшней недели) в GE Digital. Где Вы работаете? Ну или переиначим вопрос Ваша компанию в Доу Джонсоне, в первой 100 или накрайняк 500?

Давайте лучше по-другому. Сколько из созданных вами математических решений используется в реальном бизнесе и в течении какого времени?
А компании да, все входят в 500.

Расскажите за себя. Меня легко загуглить я тут уже многим язву разбередил По приколу можете гуглануть Graph Expression Language.

[Мальчик-Одуванчик]

А как вам задача: расчитать характеристики устройства чтобы оное выдержало гарантийный срок, но развалилось как можно быстрее после истечения.

Это задача на сопротивление материалов. Если ставить в рамках МЛ, то задача звучит так у нас есть десять лет наблюдений за работой устройства и какой гарантийный срок лучше всего подходит с заданой функцией потерь тут вообще тупая регрессия по временному ряду.

Задача не в том чтобы расчитать гарантийный срок, а чтобы спроектировать устройство под него.

[Lisa]

Я просто подавился... чебуреком Миллиарды заботливо подсчитала фин часть нашей корпорации - технически более миллиарда эквизишенс и остаток на зарплаты и прочие глупости навроде Амазон IAAS выездные сессии и корпоративы. Гульнули знатно

И что из этого имеет реальное отношение к внедрению и поддержке?

Давайте вскроем карты я работаю/(работал до сегодняшней недели) в GE Digital. Где Вы работаете? Ну или переиначим вопрос Ваша компанию в Доу Джонсоне, в первой 100 или накрайняк 500?

Давайте лучше по-другому. Сколько из созданных вами математических решений используется в реальном бизнесе и в течении какого времени?
А компании да, все входят в 500.

Расскажите за себя. Меня легко загуглить я тут уже многим язву разбередил По приколу можете гуглануть Graph Expression Language.

Десятка полтора наберется, думаю. Используются много лет и после моего ухода из компаний, где были созданы. Раз уж вы про себя рассказываете, приведите тогда какой-нибудь пример бизнес задачи где вы поучаствовали.

[Sergunka]

И что из этого имеет реальное отношение к внедрению и поддержке?

Давайте вскроем карты я работаю/(работал до сегодняшней недели) в GE Digital. Где Вы работаете? Ну или переиначим вопрос Ваша компанию в Доу Джонсоне, в первой 100 или накрайняк 500?

Давайте лучше по-другому. Сколько из созданных вами математических решений используется в реальном бизнесе и в течении какого времени?
А компании да, все входят в 500.

Расскажите за себя. Меня легко загуглить я тут уже многим язву разбередил По приколу можете гуглануть Graph Expression Language.

Десятка полтора наберется, думаю. Используются много лет и после моего ухода из компаний, где были созданы. Раз уж вы про себя рассказываете, приведите тогда какой-нибудь пример бизнес задачи где вы поучаствовали.

Ну, дайте ссылку на Ваши десятка полтора. Я дал ссылку на несколько тысяч если Вы еще не догнали.

[Lisa]

Ну, дайте ссылку на Ваши десятка полтора. Я дал ссылку на несколько тысяч если Вы еще не догнали.

Это приложения для внутреннего использования. На них нет ссылок.
Ну приведите хоть какой-нибудь пример из нескольких тысяч, это же должно быть просто.

[Sergunka]

Ну, дайте ссылку на Ваши десятка полтора. Я дал ссылку на несколько тысяч если Вы еще не догнали.

Это приложения для внутреннего использования. На них нет ссылок.
Ну приведите хоть какой-нибудь пример из нескольких тысяч, это же должно быть просто.

Вы чо гуглить разучились?! Я же дал ключевые слова Graph Expression Language

[Lisa]

Ну, дайте ссылку на Ваши десятка полтора. Я дал ссылку на несколько тысяч если Вы еще не догнали.

Это приложения для внутреннего использования. На них нет ссылок.
Ну приведите хоть какой-нибудь пример из нескольких тысяч, это же должно быть просто.

Вы чо гуглить разучились?! Я же дал ключевые слова Graph Expression Language

Я погуглила, нашла техническое описание и форумы. Описаний реальных бизнес проектов не нашла.
Описание проекта это примерно так

Arguably the world’s largest operations research project, ORION uses expansive fleet telematics and advanced algorithms to gather and calculate countless amounts of data to provide UPS drivers with optimized routes. The technology helps UPS drivers to determine the optimal way to deliver and pick-up packages within a set of stops defined by start time, commit time, pick-up windows and special customer needs. The system relies on online map data, customized by UPS, to calculate miles and travel time to plan the most cost-effective routes.
ORION saves UPS about 100 million miles per year. That's a reduction of 10 million gallons of fuel consumed.

Или так

Memorial Sloan-Kettering Cancer Center (MSKCC), the world’s oldest private cancer center, seeks next generation cancer treatment advances to enhance its ability to treat patients effectively by improving care and reducing costs. Using operations research approaches, our team has devised sophisticated optimization modeling and computational techniques for real-time (intraoperative) treatment of prostate cancer using brachytherapy (the placement of radioactive “seeds” inside a tumor). The resulting system offers significantly safer and more reliable treatment outcomes.

[tessob]

Снежная Королева,

Я и представляю эти самые «third party consulting firm» уже лет 20. И я прекрасно знаю в каких отраслях, что и как имплементировано. И уж поверьте мне, что ни о какой массовости речи в принципе не идет, и никаких подвижек к улучшению просто нет.

Вы сами на практике, в индустрии видели своими глазами, чтоб этот самый симплекс применяли хоть к чему-нибудь? Я пишу ровно о том, что несмотря на все успехи математики в разных областях, знания об этих методах не находят массового распространения в индустрии. Да, есть большая проблема с ресурсами, т.к. программисты не врубаются в математику, а математики в программирование. Да, я знаю, что есть исключения, но на то они и исключения, а мы говорим про массовость.

Вы в курсе же, что спотовый рынок в европе - это не более, чем эксперимент? Там все на долгосрочных контрактах и с ощутимым перепроизводством. На диспетчерских пультах стоит Scada/MES от Siemens, т.к. они поставляют весь комплекс решений. Никакого внешнего софта к управлению не подрубить, т.к. это зарегулировано. Должен быть ответственный инженер, который будет за все это отвечать. Вы сами были на диспетчерском пульте электростанции хоть раз?

[Lisa]

Вы сами на практике, в индустрии видели своими глазами, чтоб этот самый симплекс применяли хоть к чему-нибудь?

Естественно, применяют и весьма успешно.

[Sergunka]

И я же привела вам пример ежесекундного применения симплекс метода в индустрии: расчет stowage plan на контейнеровозах. Как вы себе представляете погрузить 1000 контейнеров, в которых груз разной плотности, от зерна до хлопка до детских игрушек, без решения оптимизационной задачи? Судно должно быть сбалансировано, иначе оно перевернется.

Да ладно любой жадный алгоритм прокатит лучше и быстрее симплекс метода, чо усложнять то?

[Lisa]

И я же привела вам пример ежесекундного применения симплекс метода в индустрии: расчет stowage plan на контейнеровозах. Как вы себе представляете погрузить 1000 контейнеров, в которых груз разной плотности, от зерна до хлопка до детских игрушек, без решения оптимизационной задачи? Судно должно быть сбалансировано, иначе оно перевернется.

Да ладно любой жадный алгоритм прокатит лучше и быстрее симплекс метода, чо усложнять то?

Быстрее - возможно, но лучше?

[Larsonsager]

Данная конкретная задача в данной формулировке решается очень просто: контейнеры большего веса (плотность-то тут при чем, если контейнеры одинакового размера?) надо пихать ниже.

[Sergunka]

Данная конкретная задача в данной формулировке решается очень просто: контейнеры большего веса (плотность-то тут при чем, если контейнеры одинакового размера?) надо пихать ниже.

Вы не очень в теме их могут подвозить с колес поэтому задача нетривиальная сама по себе там и прстой траков и складирование и какой кран куда должен засунуть. На самом деле и контейнеры при одинаковом размере имеют разный вес к примеру реф тяжелее чем обычный ну и размеры само собой разнятся от 20 до 40 футов.

[Larsonsager]

Я вообще не в теме, поэтому и написал: "в данной формулировке". Если нас интересует только остойчивость, то контейнеры достаточно отсортировать по весу.

> На самом деле и контейнеры при одинаковом размере имеют разный вес

Естественно, я это и написал.

> у и размеры само собой разнятся от 20 до 40 футов.

Насколько я слышал, они не разнятся от 20 до 40 футов, а бывают либо 20, либо 40. Хотя гугль пишет, что бывают и больше.

В общем, если нам не надо оптимизировать что-то ещё (типа того, что часть груза едет в один порт, а часть - в другой, и надо минимизировать время погрузки-разгрузки), а надо просто обеспечить наилучшую остойчивость, то оптимальное решение - отсортировать.

[tessob]

И я же привела вам пример ежесекундного применения симплекс метода в индустрии: расчет stowage plan на контейнеровозах. Как вы себе представляете погрузить 1000 контейнеров, в которых груз разной плотности, от зерна до хлопка до детских игрушек, без решения оптимизационной задачи? Судно должно быть сбалансировано, иначе оно перевернется.

Во-первых, симплекс метод — это все же не «обобщенное определение любого оптимизационного алгоритма», а вполне конкретная группа алгоритмов обхода вершин политопа в неком n-мерном пространстве реальных чисел. Во-вторых, ваша задача размещения груза на контейнеровозе симплексом не решается. Это задача дискретной математики в пространстве натуральных чисел. В математике вообще пока нет ни одного непереборного алгоритма, который бы находил min/max решение подобных задач за менее чем n! шагов. Увы. Однако я безумно рад за ваших одногруппников, которым, с ваших слов, таки удавалось это проделывать.

Что касается реального решения, то Sergunka абсолютно прав! Жадный алгоритм, немного эвристик и немного отсечений областей заведомо плохих решений будет считаться за несколько секунд для контейнеровоза любого размера. Выход на такой же уровень точности для для многих алгоритмов численной оптимизации, в случае какого-нибудь восьмитысячника, будет возможен только через несколько часов на вычислительном кластере из нескольких сот процессорных ядер.

15-30% от всего рынка (согласно разным источникам), и растет каждый месяц.

Вы потроллить меня решили что-ли? Какие 15-30% рынка в day ahead спотах!? Там одна волатильность сидит.

[Lisa]

Выход на такой же уровень точности для для многих алгоритмов численной оптимизации, в случае какого-нибудь восьмитысячника, будет возможен только через несколько часов на вычислительном кластере из нескольких сот процессорных ядер.

Смайлика с фейспалмом не нашла, ну да ладно. Я сдаюсь.

[tessob]

Сколько раз я зарекался не спорить с искусственным интеллектом….

Lisa, вам формально нужно найти оптимальный гамильтонов путь в полносвязном графе в 8’000 вершин. Число возможных гамильтоновых путей у такого графа будет примерно 10 ^ 30’000. Это «слегка» больше, чем число атомов в нашей солнечной системе. При любом алгоритме численной оптимизации, чтоб просто выполнить исследование окрестностей дискретной функции покоординатным спуском, вы выполните не менее, чем 8'000 операций. Более того, оценку целевой функции вы не способны выразить через матрицу переходов, т.к. у вас есть окна допустимых решений, т.к. количество портов назначения более одного. По факту же, вы будете считать каждую пермутацию примерно такое же время за которое вы пройдете жадный алгоритм.

При этом предельное «отлежание» от оптимума у жадного гамильтонова пути математически доказано, а наихудший гамильтонов путь может «отлежать» сколь угодно далеко.

[Larsonsager]

Во-вторых, ваша задача размещения груза на контейнеровозе симплексом не решается. Это задача дискретной математики в пространстве натуральных чисел. В математике вообще пока нет ни одного непереборного алгоритма, который бы находил min/max решение подобных задач за менее чем n! шагов. Увы. Однако я безумно рад за ваших одногруппников, которым, с ваших слов, таки удавалось это проделывать.

- Это же п-проблема Бен Б-бецалеля. К-калиостро же доказал, что
она н-не имеет р-решения.
- Мы сами знаем, что она не имеет решения, - сказал Хунта, немедленно
ощетинившись. - Мы хотим знать, как ее решать.

Никому не нужно решать подобные задачи строго. Из того, что задача о рюкзаке или коммивояжера не решаются строго за приемлемое время, не следует, что они вообще не решаются за приемлемое время. Просто вместо глобального минимума находится тот из локальных, что мало отличается от глобального. И вот тут как раз может вступить в действие та часть алгоритмики, которая немного ближе к дата-сайнсу, чем просто ваши симплекс-методы: рандомизированные алгоритмы, например. А еще некоторые оптимизационные задачи в пространстве натуральных чисел решаются релаксацией до действительных и применением эвристик по превращению действительного решения в натуральное.

[tessob]

Просто вместо глобального минимума находится тот из локальных, что мало отличается от глобального.

Скажете как это посчитать!?

[Larsonsager]

Умные математики посчитали. Вы читаете их работу и говорите: ага, шанс попасть в <(1 + eps) от глобального минимума - 3%. Шанс не попасть, соответственно 0.97. Итого минимум результатов ста случайных экспериментов с вероятностью 95% лежит в терпимом диапазоне, минимум результатов трёхсот экспериментов вас устраивает с вероятностью 99.99%.

[tessob]

Умные математики посчитали. Вы читаете их работу и говорите: ага, шанс попасть в <(1 + eps) от глобального минимума - 3%. Шанс не попасть, соответственно 0.97. Итого минимум результатов ста случайных экспериментов с вероятностью 95% лежит в терпимом диапазоне, минимум результатов трёхсот экспериментов вас устраивает с вероятностью 99.99%.

П####Ц!