Что творится с дейта сайнсом?

[Larsonsager]

Математике уже не одна тысяча лет как науке. Что-то как-то у них там пока не очень складывается. ))

Дофига математики успешно использовалось и используется в индустрии, еще до того как появилось модное слово датасаенс.

Более того, до фига датасайнса использовалось в индустрии еще до того, как появилось такое слово.
И еще более того, основной рывок датасайнс (тогда это называлось "математическая статистика") получил около века назад, когда несколько нематематиков: химики, биологи, психологи и физики - решили порешать свои, часто сугубо практические, индустриальные задачи с помощью математики.

[tessob]

Математике уже не одна тысяча лет как науке. Что-то как-то у них там пока не очень складывается. ))

Дофига математики успешно использовалось и используется в индустрии, еще до того как появилось модное слово датасаенс.

Более того, до фига датасайнса использовалось в индустрии еще до того, как появилось такое слово.
И еще более того, основной рывок датасайнс (тогда это называлось "математическая статистика") получил около века назад, когда несколько нематематиков: химики, биологи, психологи и физики - решили порешать свои, часто сугубо практические, индустриальные задачи с помощью математики.

Дофига - слабая аргументация! Приведите пожалуйста примеры массового прихода математики из академии в индустрию. Я привел пример который релевантен для 99+ процентов компаний во всем мире. Я могу привести еще целую кучу примеров того, как логисты ни сном ни духом о теории графов, потоках в сетах, или когда производственники не в курсе, что планирование (секвенсинг) - одна из задач дискретной оптимизации, или когда плант-супервайзеры слышать не слышали о симплексе и как его использовать при назначении ресурсов и расчете физибилити. Те немногочисленные компании, где что-то из этого хоть как-то используется - редкие исключения. Причем, даже чтоб в этих редких исключениях эта математика появилась, приходится просто огнем и мечем прокладывать себе дорогу.

Единственный пример, который я могу назвать, прихода академической математики в индустрию - игорный бизнес. Только и там математика сначала появилась в индустрии, этом самом игорном бизнесе, потом пришла в академию и уже потом вернулась обратно.

Вчера начала в компании 20 человек: R&D, около медицинские разработки. Через пару недель отчитаюсь.

Удачи!

[tessob]

Не совсем корректно. Если вы убираете математику из компьютеров или роботов, то они просто перестают выполнять свою функцию. Если вы убираете математику из логистики, то она "прекрасно" продолжает работать. Я вам больше скажу. Часто бывает так, что ты огнем и мечем приносишь эту математику, все видят значительный прирост эффективности, проект заканчивается и ты уходишь. А когда возвращаешься через годика 2, то там всю твою математику вспоминают просто как нечто из разряда мифологии. Индустрия каким то образом умудряется отторгать ее как нечто чуждое и инородное.

[ALV00]

Там везде суть проблемы одна - как только появляется деление или умножение на целочисленный коэффициент возникает вероятность появления ошибок округления.

Ахаха, мне бухгалтера плешь проели в свое время с этими ошибками округления. Например, когда выделяется 10% и 20% НДС из цены товара путем деления на 11 и 6 (много ли людей понимают, почему не на 10 и 5? ) Потом эти ошибки домножаются на тысячи единиц товара и получаются вполне заметные суммы. В натуральных числах эта пробема не имеет решения. Можно как-то выкрутиться только перейдя к вещественным. Мы считали до пятого знака, так суммы хоть как-то сходились.

[Ann4Ann]

А когда возвращаешься через годика 2, то там всю твою математику вспоминают просто как нечто из разряда мифологии. Индустрия каким то образом умудряется отторгать ее как нечто чуждое и инородное.

это еще в лучшем случае. в худшем там 2 аутсорсных команды "датасаянтистов" ваяют в жестком бесконечном хардкоде if else и называют это то цепями Маркова, то теорией графов, то еще чем-то, про что вы им 2 года назад рассказали)))
зато сколько под это дело бабла выгребают - от где учиться и учиться всем саянтистам надо

[+KPOT+]

это еще в лучшем случае. в худшем там 2 аутсорсных команды "датасаянтистов" ваяют в жестком бесконечном хардкоде if else и называют это то цепями Маркова, то теорией графов, то еще чем-то, про что вы им 2 года назад рассказали)))
зато сколько под это дело бабла выгребают - от где учиться и учиться всем саянтистам надо

Именно. Надо уметь хорошо запаковать любую чушь и создать свой бренд. По моим наблюдениям, наши это умеют гораздо хуже индусов к сожалению.

[Lisa]

Дофига - слабая аргументация! Приведите пожалуйста примеры массового прихода математики из академии в индустрию. Я привел пример который релевантен для 99+ процентов компаний во всем мире. Я могу привести еще целую кучу примеров того, как логисты ни сном ни духом о теории графов, потоках в сетах, или когда производственники не в курсе, что планирование (секвенсинг) - одна из задач дискретной оптимизации, или когда плант-супервайзеры слышать не слышали о симплексе и как его использовать при назначении ресурсов и расчете физибилити.

Они и не должны в этом разбираться, это совершенно не их работа. Так же как вы не должны знать, например, формулу аспирина и процесс его синтеза.
Очень странно было бы ожидать от супервайзера на заводе! знание симплекса. Это ваша работа, не их. И ваша же задача создать для них систему, которая дает им что-то лучше, чем то что у них уже есть.
Посмотрите на любую крупную американскую компанию - авиалинии, грузоперевозки, крупные сети магазинов, больницы, производства - везде используется все то что вы перечислили.

Я вам больше скажу. Часто бывает так, что ты огнем и мечем приносишь эту математику, все видят значительный прирост эффективности, проект заканчивается и ты уходишь. А когда возвращаешься через годика 2, то там всю твою математику вспоминают просто как нечто из разряда мифологии. Индустрия каким то образом умудряется отторгать ее как нечто чуждое и инородное.

Недостаточно просто придти и создать мат. алгоритмы. Вокруг них нужно сделать систему, изменить бизнес процессы на использование этой системы, внедрить ее, поддерживать. Если этого не делать, то никакая самая распрекрасная математика никому нужна не будет.

[tessob]

Посмотрите на любую крупную американскую компанию - авиалинии, грузоперевозки, крупные сети магазинов, больницы, производства - везде используется все то что вы перечислили.

Мне не надо на них смотреть. Я там работаю. Чем крупнее компания, тем меньше там математики, логики и просто здравого смысла. Посмотрите на любом джбборде требования к Supply Chain Manager, Manufacturing Production Scheduler, Manufacturing Master Planner/Scheduler. Это те люди, которые ручками без всякой математики решают задачи факториальной сложности в MS Excel. Основные требования к кандидатам - тот самый ёксель и проблемсолвингскиллзз. Причем второй видимо и отвечает за факториальную сложность. Как это не смешно, но у 90% из них было исследование операций в универах. Они просто нифига не поняли и не помнят. Какие там в лес полиэдры с политопами!?

Lisa, я же правильно понимаю, что личного опыта по теме разговора у вас нет?

[Lisa]

Посмотрите на любую крупную американскую компанию - авиалинии, грузоперевозки, крупные сети магазинов, больницы, производства - везде используется все то что вы перечислили.

Мне не надо на них смотреть. Я там работаю. Чем крупнее компания, тем меньше там математики, логики и просто здравого смысла. Посмотрите на любом джбборде требования к Supply Chain Manager, Manufacturing Production Scheduler, Manufacturing Master Planner/Scheduler. Это те люди, которые ручками без всякой математики решают задачи факториальной сложности в MS Excel. Основные требования к кандидатам - тот самый ёксель и проблемсолвингскиллзз. Причем второй видимо и отвечает за факториальную сложность. Как это не смешно, но у 90% из них было исследование операций в универах. Они просто нифига не поняли и не помнят. Какие там в лес полиэдры с политопами!?

Это не те люди, которые должны знать математику! Все, что от них требуется, это использовать тулзы, которые для них создали математики. Все.

Lisa, я же правильно понимаю, что личного опыта по теме разговора у вас нет?

Неправильно. У меня очень много лет личного опыта.

[Larsonsager]

Математике уже не одна тысяча лет как науке. Что-то как-то у них там пока не очень складывается. ))

Дофига математики успешно использовалось и используется в индустрии, еще до того как появилось модное слово датасаенс.

Более того, до фига датасайнса использовалось в индустрии еще до того, как появилось такое слово.
И еще более того, основной рывок датасайнс (тогда это называлось "математическая статистика") получил около века назад, когда несколько нематематиков: химики, биологи, психологи и физики - решили порешать свои, часто сугубо практические, индустриальные задачи с помощью математики.

Дофига - слабая аргументация! Приведите пожалуйста примеры массового прихода математики из академии в индустрию. Я привел пример который релевантен для 99+ процентов компаний во всем мире. Я могу привести еще целую кучу примеров того, как логисты ни сном ни духом о теории графов, потоках в сетах, или когда производственники не в курсе, что планирование (секвенсинг) - одна из задач дискретной оптимизации, или когда плант-супервайзеры слышать не слышали о симплексе и как его использовать при назначении ресурсов и расчете физибилити. Те немногочисленные компании, где что-то из этого хоть как-то используется - редкие исключения. Причем, даже чтоб в этих редких исключениях эта математика появилась, приходится просто огнем и мечем прокладывать себе дорогу.

Единственный пример, который я могу назвать, прихода академической математики в индустрию - игорный бизнес. Только и там математика сначала появилась в индустрии, этом самом игорном бизнесе, потом пришла в академию и уже потом вернулась обратно.

Контроль качества. Расчет пропускных способностей (теория массового обслуживания). Вся практическая социология целиком. Страхование (актуарная математика).

Ваши примеры, "релевантные для 99+ процентов компаний", свидетельствуют лишь о том, что управленцы и работяги не пользуются математикой непосредственно. Точно так же ни архитекторы, ни строители не пользуются сопроматом, однако же сопромат используется в строительстве сплошь и рядом - просто занимаются этим другие люди.

> Только и там математика сначала появилась в индустрии

Я же написал вторым предложением, что вообще основная часть матстатистики пришла из индустрии. И не из какого-то игорного бизнеса, а с заводов. Стьюдент, Терстон, Спирмен. Еще некоторая часть пришла из биологии (Пирсон), статфизики (много кто: например, Стратонович).

Я могу привести еще целую кучу примеров того, как логисты ни сном ни духом о теории графов, потоках в сетах, или когда производственники не в курсе, что планирование (секвенсинг) - одна из задач дискретной оптимизации

Простите, у меня нет систематического образования в этой области, я очень смутно представляю, что такое теория графов и что вы имеете в виду под дискретной оптимизацией.

Однако: а) я лично знаю логиста - он сейчас работает доцентом в Нью-Йорке, но лет 10 назад, после защиты диссера, был логистом в России в транснациональной корпорации - который вроде как применял в повседневной работе какую-то "дискретную оптимизацию";
б) вроде как всё перечисленное вами не имеет никакого отношения к дата-сайнсу. Мы говорим о дата-сайнсе, при чём здесь графы и потоки?

[Sergunka]

Мне не надо на них смотреть. Я там работаю. Чем крупнее компания, тем меньше там математики, логики и просто здравого смысла.

Да, Вы просто брат по разуму Мне наш разговор напомнил бессмертное высказывание Гильберта когда его спросили почему он пишет учебник по мат-физике - "потому, что мат-физика слишком сложна для физиков" (с)

[Sergunka]

Недостаточно просто придти и создать мат. алгоритмы. Вокруг них нужно сделать систему, изменить бизнес процессы на использование этой системы, внедрить ее, поддерживать. Если этого не делать, то никакая самая распрекрасная математика никому нужна не будет.

phpBB [video]

"Узнаю брата Колю!"(с) т.е. иными словами надо развести лохов по полной

[Lisa]

Недостаточно просто придти и создать мат. алгоритмы. Вокруг них нужно сделать систему, изменить бизнес процессы на использование этой системы, внедрить ее, поддерживать. Если этого не делать, то никакая самая распрекрасная математика никому нужна не будет.

"Узнаю брата Колю!"(с) т.е. иными словами надо развести лохов по полной

Эммм. В каком смысле?

[tessob]

б) вроде как всё перечисленное вами не имеет никакого отношения к дата-сайнсу. Мы говорим о дата-сайнсе, при чём здесь графы и потоки?

Как при чем!? Я сказал Физику-Лирику, что дружба математики и индустрии складывается, мягко говоря, хреновато. Вас это возмутило, но из контр примеров вы смогли привести только:
- контроль качества
- расчет пропускных способностей
- социологию
- страхование

Мало того, что это не тянет на изначально заявленные "дофига", но, из всего приведенного вами списка, индустрией является только страхование. Понимания того, каким образом вы собрались контролировать качество математикой у меня нет. Что касается теории массового обслуживания, то формула Литтла используется для расчета очередей, а для расчета пропускных способностей как раз используются потоки в сетях и теория графов, те самые, которые тут ни при чем.

[Larsonsager]

> но из контр примеров вы смогли привести только:

не "смог", а удосужился. Могу еще кучу. Инвестфонды. Радиолокация. Оцифровка книг. Интернет-реклама. Геологоразведка. Анализ эффективности для вывода лекарств на рынок.

Планирование дорог. Мой одноклассник еще в конце 90-х годов в МАИ работал над системой расчета трафика, и это были не высокомудрые научные разработки без реальных приложений, а напротив, реальная инженерная система. Он её не разрабатывал как учёный, а учился пользоваться - как техник.

> из всего приведенного вами списка, индустрией является только страхование.

Микробиология используется сплошь и рядом в индустрии, например в пивоварении или производстве сахара. Но производство сахара - это не микробиология. Тут то же самое. Контроль качества - это не индустрия, но это важная компонента многих индустрий.

> Понимания того, каким образом вы собрались контролировать качество математикой у меня нет

Что поделаешь. Можно взять учебник Феллера, там множество примеров.
Суть такая: вы не можете проверять всё. Вам надо проверять какую-то выборку и делать выводы. Какую выборку и как делать выводы - это дата-сайнс. А теория графов - это не дата-сайнс, а сборник алгоритмических рецептов (говорят, за этим есть какая-то умная теория, но мне не довелось встречать людей, знакомых с нею хотя бы поверхностно, обычно под теорией графа понимают набор алгоритмов эффективного решения определенных задач)

[tessob]

Весь рынок электричества - это громадная оптимизационная задача. Решается автоматически каждые пять минут, диктуя электростанциям увеличить/уменьшить производство. Причем я точно это знаю о Европе.

С этого места попрошу пожалуйста по-подробнее. Я хорошо знаю изнутри эту кухню в Total, E.ON и Enel(Eni). О какой громадной, автоматически решаемой оптимизационной задаче мы говорим?

Год назад у нас уже было общение по поводу Австралийского рынка э/э, но там у меня никакого опыта не было и многие вещи для меня оказались просто дикими. Однако Европа и СНГ мне очень близки.

[Sergunka]

Недостаточно просто придти и создать мат. алгоритмы. Вокруг них нужно сделать систему, изменить бизнес процессы на использование этой системы, внедрить ее, поддерживать. Если этого не делать, то никакая самая распрекрасная математика никому нужна не будет.

"Узнаю брата Колю!"(с) т.е. иными словами надо развести лохов по полной

Эммм. В каком смысле?

В прямом у меня на глазах развели компанию за два года на 4 миллиарда долларов Больше всего мне запомнилась по своей помпезности и чванливости заявление очередного ВП по продажем который сказал примерно следующее когда я получил свой МБА у меня было два предложения продавать кетчуп (Карл! Кетчуп!) или продавать софт Радует только одно его уволили к еб"ням одного из первых

[Lisa]

Недостаточно просто придти и создать мат. алгоритмы. Вокруг них нужно сделать систему, изменить бизнес процессы на использование этой системы, внедрить ее, поддерживать. Если этого не делать, то никакая самая распрекрасная математика никому нужна не будет.

"Узнаю брата Колю!"(с) т.е. иными словами надо развести лохов по полной

Эммм. В каком смысле?

В прямом у меня на глазах развели компанию за два года на 4 миллиарда долларов Больше всего мне запомнилась по своей помпезности и чванливости заявление очередного ВП по продажем который сказал примерно следующее когда я получил свой МБА у меня было два предложения продавать кетчуп (Карл! Кетчуп!) или продавать софт Радует только одно его уволили к еб"ням одного из первых

Это прекрасно, конечно, но какое это вообще имеет отношение к тому что я написала?

[Sergunka]

Недостаточно просто придти и создать мат. алгоритмы. Вокруг них нужно сделать систему, изменить бизнес процессы на использование этой системы, внедрить ее, поддерживать. Если этого не делать, то никакая самая распрекрасная математика никому нужна не будет.

"Узнаю брата Колю!"(с) т.е. иными словами надо развести лохов по полной

Эммм. В каком смысле?

В прямом у меня на глазах развели компанию за два года на 4 миллиарда долларов Больше всего мне запомнилась по своей помпезности и чванливости заявление очередного ВП по продажем который сказал примерно следующее когда я получил свой МБА у меня было два предложения продавать кетчуп (Карл! Кетчуп!) или продавать софт Радует только одно его уволили к еб"ням одного из первых

Это прекрасно, конечно, но какое это вообще имеет отношение к тому что я написала?

Вы перечитайте еще раз, что Вы написали 4 миллиарда понятно сожрали не математики и прочие девопсы... их поглотила как раз система с бизнес процессами и прочей мутью внедрежа и поддержки... все во благо и все для человека-кетчупа

[Lisa]

Вы перечитайте еще раз, что Вы написали 4 миллиарда понятно сожрали не математики и прочие девопсы... их поглотила как раз система с бизнес процессами и прочей мутью внедрежа и поддержки... все во благо и все для человека-кетчупа

А какие еще есть варианты. Ну вот построили вы крутой тул, и что дальше? Кто и как будет им пользоваться? Что происходит если что-то в нем надо поменять? Откуда известо, что все работает как надо?
Миллиарды можно считать если вы внешний консультант. Как вы будете считать когда все ресурсы внутренние?

[Sergunka]

Вы перечитайте еще раз, что Вы написали 4 миллиарда понятно сожрали не математики и прочие девопсы... их поглотила как раз система с бизнес процессами и прочей мутью внедрежа и поддержки... все во благо и все для человека-кетчупа

А какие еще есть варианты. Ну вот построили вы крутой тул, и что дальше? Кто и как будет им пользоваться? Что происходит если что-то в нем надо поменять? Откуда известо, что все работает как надо?
Миллиарды можно считать если вы внешний консультант. Как вы будете считать когда все ресурсы внутренние?

Вариант только один если тул крутой, то ищещь инвесторов и продаешь его... а если попрет выйдешь в IPO.

Про внутренние ресурсы я как раз и говорил - сожрали 4 миллиарда бюджета компании

[Lisa]

Вы перечитайте еще раз, что Вы написали 4 миллиарда понятно сожрали не математики и прочие девопсы... их поглотила как раз система с бизнес процессами и прочей мутью внедрежа и поддержки... все во благо и все для человека-кетчупа

А какие еще есть варианты. Ну вот построили вы крутой тул, и что дальше? Кто и как будет им пользоваться? Что происходит если что-то в нем надо поменять? Откуда известо, что все работает как надо?
Миллиарды можно считать если вы внешний консультант. Как вы будете считать когда все ресурсы внутренние?

Вариант только один если тул крутой, то ищещь инвесторов и продаешь его... а если попрет выйдешь в IPO.

Про внутренние ресурсы я как раз и говорил - сожрали 4 миллиарда бюджета компании

Я не говорю про софт на продажу. Я говорю про софт, который пишется для внутренних нужд, внутренними ресурсами. Как вы считаете миллиарды? Упущенные возможности? Зарплаты работников?

[Sergunka]

Вы перечитайте еще раз, что Вы написали 4 миллиарда понятно сожрали не математики и прочие девопсы... их поглотила как раз система с бизнес процессами и прочей мутью внедрежа и поддержки... все во благо и все для человека-кетчупа

А какие еще есть варианты. Ну вот построили вы крутой тул, и что дальше? Кто и как будет им пользоваться? Что происходит если что-то в нем надо поменять? Откуда известо, что все работает как надо?
Миллиарды можно считать если вы внешний консультант. Как вы будете считать когда все ресурсы внутренние?

Вариант только один если тул крутой, то ищещь инвесторов и продаешь его... а если попрет выйдешь в IPO.

Про внутренние ресурсы я как раз и говорил - сожрали 4 миллиарда бюджета компании

Я не говорю про софт на продажу. Я говорю про софт, который пишется для внутренних нужд, внутренними ресурсами. Как вы считаете миллиарды? Упущенные возможности? Зарплаты работников?

Я просто подавился... чебуреком Миллиарды заботливо подсчитала фин часть нашей корпорации - технически более миллиарда эквизишенс и остаток на зарплаты и прочие глупости навроде Амазон IAAS выездные сессии и корпоративы. Гульнули знатно

[Lisa]

Я просто подавился... чебуреком Миллиарды заботливо подсчитала фин часть нашей корпорации - технически более миллиарда эквизишенс и остаток на зарплаты и прочие глупости навроде Амазон IAAS выездные сессии и корпоративы. Гульнули знатно

И что из этого имеет реальное отношение к внедрению и поддержке?

[Lisa]

Я вернусь к рынку электричества, но сейчас я напишу о логистике.

Tessob, вы упомянули симплекс метод, и я вспомнила о своей юности в нашем вузе симплекс метод знали все, кроме экономистов. Управленцы и судомеханики могли посреди ночи вспомнить. Управленцев учили загружать судно так, чтобы оно не перевернулось, при помощи карандаша и бумаги, эксель нам был еще неизвестен )

Без математики встанет вся логистика, потому что загрузка фрахта (груза) на судах и самолетах - создание stowage plan - это оптимизационная задача. Без математики сбалансировать контейнеровоз невозможно.

Другое дело, что операторы математику не знают, но они имеют программу, созданную third party consulting firm, и такие программы создаются для всех индустрий .

Программа для управления электростанциями называется Plexos. Те, кто электростанциями управляет, просто умеют нажимать на кнопки, никакого симплекс метода знать не надо.

Так, и что касается европейского рынка электричества. EPEX SPOT система решает оптимизационные задачи автоматически, через определенные интервалы времени (не 5 минут, но это неважно). Наберите в гугле How the European day-ahead electricity market works, и найдите лекцию профессора Cornelusse. На стр 39 сформулирована задача линейного программирования, и дальше обьясняется как ее решать на бумаге. Это не значит, что трейдеры или сотрудники EPEX SPOT ее решают, за них решает software.

Со всем согласна, к выделенному добавлю, что сейчас все чаще эти программы создаются внутренними ресурсами.