Machine Learning again

[Физик-Лирик]

Что касается самой задачи, то она, мягко говоря, странная. Ее можно сформулировать немного проще. Предположим, что есть ассиметричная монетка, где орел выпадает с вероятностью 0.7 (решка 0.3). Вы играете в игру с единственным оппонентом и называете сторону, которая выпадет следующей. Если вы выигрываете, то получаете 1$, если проигрываете, то платите его. Нужно просто ставить на орла. Вы же пытаетесь строить модель случайного процесса, основывая свой выбор на предыдущих значениях. Это только математическая сторона.

В такой постановке есть одна проблема. Предполагается, что у игроков (по крайней мере, у постоянно ставившего на "орла") есть неограниченный капитал. Обычно, при формулировки задачи финансового рынка через стохастические диффуры предполагается, что процесс ("гейн процесс") ограничен снизу.

[Физик-Лирик]

Я правда не понимаю как знания об объеме потребления каждым отдельным клиентом могут улучшить существующую модель управления режимами работы турбин. Объем потребления конечных потребителей будет всегда меньше величины генерации на случайную величину с большой дисперсией.
Более того, если такие потери являются случайной величиной, а сама задача является попыткой оптимизировать функцию от объема потребления и случайной величины, то результатом такой функции тоже будет случайная величина. Можно заменить случайную величину потерь мат ожиданием, но при большой дисперсии это будет уже "оптимизация средней по больнице".

Я не знаю, какую задачу решает Королева, но ведь можно рассмотреть задачу с точки зрения задачи расписания (известная задача). Можно спрогнозировать расписание потребления энергии, а потом оптимизировать с точки зрения включения/отключения генераторов. Потери и т.п. можно моделировать как нормальное распределения с нулевым средним и постоянным стандартным отклонением. Неопределённость можно трактовать этим распределением. Предполагается, что дисперсия не очень велика по сравнению со средними значениями самой функции генерация/потребления. В противном случае, моделировать шум - пустая затея.
"Падеж электронов" - это уже классика.

[Физик-Лирик]

Думаю будет проще если Королева вам на пальцах объяснит суть задачи

Полностью согласен. Теперь ждем выхода самой Королевы.

[tessob]

Может поэтому европейцы не понимают что такое dynamic hedging?

Наверное именно в этом и дело. Сейчас читаю это, раз наверное в пятый, и чувствую собственные волосяные луковицы. Чудна, чудна ты Австралийская энергетика.

Европейцы используют суточный спотовый рынок, т.к. очень легко планировать работу оборудования. Есть классический двугорбый график потребления и в пределах суток любые случайные блуждания вдоль него хорошо усредняются к достаточно малым отклонениям. Опять же, зная данный график энергетики спокойно планируют режимы работы турбин на сутки вперед, всегда понятно когда нужно запускать дополнительные турбины и когда их останавливать. Никакой паники. Кроме того, если сеть начинает потреблять больше, чем генерируется в настоящий момент, то энергетики с легкостью повышают выработку ЭЭ, т.к. потом всегда можно найти источники фактического перерасхода (хоть через месяц). Технически это тоже не сложно, т.к. в среднем турбины работают в интервале 35-70% от максимума, где у них максимальное КПД и минимальный износ. Такой подход берет свое начало еще из работ Максвела о регуляторах, где он 150 лет назад доказал, что микроменеджмент снижает эффективность системы в целом (привет Agile ).

Как можно управлять угольными генераторами в получасовом горизонте, я вообще слабо понимаю, если честно. Т.е. если мне нужно срочно снизить объем генерации, то мне нужно как-то заставить кучу угля под котлом гореть менее интенсивно. При этом у чугунного котла есть еще собственная теплоемкость, да и разгоряченные молекулы воды в этом котле продолжат еще некоторое время врубаться в друг друга. А еще есть инертная турбина, весом в несколько тонн, которая раскручивается этим паром... Все, я теперь знаю, когда Европейские энергетики будут тянуть с оплатой по контрактам, я буду их пугать тем, что после смерти они вместо ада сразу переродятся в Австралийских энергетиков!!!


Единственное, что я до сих пор не понимаю из вашего рассказа - это то почему вы так упорно хотите измерять потребление на конечных клиентах в оперативном режиме. Это же просто другой участок той же электрической цепи. Это же вообще никак не связано с вашим получасовым рынком ЭЭ. У вас как я понимаю цена на спотах в большей мере обусловлена текущей себестоимостью генерации в конкретный момент времени, а не тем кто и на сколько напотреблял.

[АццкоМото]

(цена может быть отрицательная -$1000), вы платите за возможность генерировать. Весело, правда?

А в чем смысл? Кипятить океан выходит на $1000 дешевле

[АццкоМото]

(цена может быть отрицательная -$1000), вы платите за возможность генерировать. Весело, правда?

А в чем смысл? Кипятить океан выходит на $1000 дешевле

Выключить нельзя угольную станцию.

это понятно. но перестать продавать лепестричество же можно?

[Физик-Лирик]

Похоже на задачу хеджирования из финансовой математики (типа put/call options). Интересно, существует ли аналитическое решение в предположении определённой модели поведения. А как можно формализовать модель? И в чем принципиальная разница между суточным планированием и часовым (в смысле самой аналитики)?
Как накапливать электричество? Наверное, типа конденсаторы/батареи заряжать.

[Easbayguy]

Вы не поняли мою проблему, может быть я плохо объясняю. Мне не надо ходить на станции, у меня есть все данные по генераторам в реальном времени, включая scada и dispatch, это как бы public knowledge. Чего у меня нет, это данных по потреблению каждым клиентом в реальном времени, и я уверена, что если бы эти данные были доступны, решились бы многие проблемы на уровне страны. Не все, но многие.

У вас же там смарт метерс везде выкатывают!

[АццкоМото]

А куда его девать?

ну я потому и написал фигурально - "кипятить океан". мало ли куда деть можно. биткоины майнить, например

[АццкоМото]

Как накапливать электричество? Наверное, типа конденсаторы/батареи заряжать.

воду закачивать вверх?
хотя илон маск хлестался как раз эту проблему как раз в этой самой оффстралии решить как раз этими самыми кумуляторами. буквально неделю-другую назад

[blanko27]

Интересно заглянуть в голову другого человека - конспекты книг, статей, и курсов, на которых некто месье Винсент Зункинд побывал/прочитал за последнее время Article, book and MOOC summaries by Vincent Zoonekynd (2017-02)

[tessob]

Спотовая цена формируется не из себестоимости, а из bids, как на аукционе. То есть вы можете поставить bid даже ниже себестоимости. Например, угольные генераторы отключить нельзя, и поэтому когда цена идёт вниз (цена может быть отрицательная -$1000), вы платите за возможность генерировать. Весело, правда? Это происходит когда over supply: ветра и солнца когда много. Но да, наш рынок в полной ж сейчас. Такого бардака не было даже в СССР.

Я так понимаю, что это не цена -1K, а разница между спотовой ценой и себестоимостью генерации. Просто падая в минус вы минимизируете величину потерь, т.к. если вы перестанете генерировать ЭЭ полностью, то уголь гореть все равно не перестанет и сгорит еще на -20K.

Если смотреть на ситуацию в целом, то похоже, что "зеленые" поимели всю Австралийскую энергетику. Просто ветряная и солнечная генерация не имеет инерции и их себестоимость не содержит топливной составляющей. Там только операционные расходы, амортизация и обслуживание активов. В силу этого они всегда могут называть bids ниже ваших, т.к. на 30 минут вперед они вполне могут предсказать солнце и ветер. По сути нет ни одного сценария при котором вы будете выигрывать. Они же могут наращивать ветряки и солнечные батареи до тех пор, пока не сравняются с вами по объему генерации. После чего вы будете генерировать только по ночам в безветренную погоду.

Мне кажется, что вам нужно двигаться в сторону: bitcoin; алюминиевого заводика (вторичной переработки); производства сапфировых стекол и т.п. Короче, туда, где лишней ЭЭ не бывает, а потребление условно константное.

Как DS сможет чем-либо помочь я теперь точно не понимаю.

[tessob]

Похоже на задачу хеджирования из финансовой математики (типа put/call options).

Не особо. Каждый участник называет свою цену и объем генерации, который он может предоставить по такой цене. Можно назвать несколько цен (по возрастанию) с разными объемами. Далее все подобные ставки от всех участников сортируются по цене и начиная с наименьшей цены выбирается тот объем генерации, который нужен рынку. Это чем то похоже на очень короткие фьючерсы. Подобным образом на европейском рынке торгуется природный газ. Только с газом есть еще продажа излишков на том же рынке.

Интересно, существует ли аналитическое решение в предположении определённой модели поведения. А как можно формализовать модель? И в чем принципиальная разница между суточным планированием и часовым (в смысле самой аналитики)?

Можно свести задачу к системе нелинейных уравнений и решить аналитически. Можно решить численно. Тоже ничего сложного, т.к. исследовать целевую функцию нужно в очень небольших окрестностях. Мы же всегда знаем в где мы находимся и куда нам нужно идти (вверх или вниз). Только на практике я не встречал хороших мат. моделей. Энергетики на станциях вполне неплохо справляются с решением данной задачи.

Разница между часовым и суточным планированием заключается в том, что при суточном планировании погоду предсказывает альтернативная энергетика, а при часовом традиционная. Если бы в Австралии был бы суточный стоповый рынок, то ветряки бы орошали огурцы в теплицах и освещали коровники. Ровно так, как это происходит в Европе. Просто потому, что альтернативная генерация физически не смогла бы называть bids для суточного рынка, т.к. неустойка от недопоставки перекрывала бы доход. Короче, это две абсолютно разные модели рынка ЭЭ.

[Физик-Лирик]

Не особо. Каждый участник называет свою цену и объем генерации, который он может предоставить по такой цене. Можно назвать несколько цен (по возрастанию) с разными объемами. Далее все подобные ставки от всех участников сортируются по цене и начиная с наименьшей цены выбирается тот объем генерации, который нужен рынку. Это чем то похоже на очень короткие фьючерсы. Подобным образом на европейском рынке торгуется природный газ. Только с газом есть еще продажа излишков на том же рынке.

Так правильно. Хеджирования опции стоком предполагает аналогичные процессы. Не с точки зрения, как всё происходит (здесь, конечно, по-другому), а именно "абстрактных" процессов. Наверное, и модель можно по подобию создать.

Можно свести задачу к системе нелинейных уравнений и решить аналитически. Можно решить численно. Тоже ничего сложного, т.к. исследовать целевую функцию нужно в очень небольших окрестностях. Мы же всегда знаем в где мы находимся и куда нам нужно идти (вверх или вниз). Только на практике я не встречал хороших мат. моделей. Энергетики на станциях вполне неплохо справляются с решением данной задачи.

Каких уравнений? Алгебраических, дифференциальных, стохастических дифференциальных? Вы вроде как про последние упоминали. Не смогли ли Вы кратко описать? Я в области энергетики никогда не работал.
Решить нелинейную систему аналитически? Вы, наверное, просто гений математики. Честно говорю.

[tessob]

Так правильно. Хеджирования опции стоком предполагает аналогичные процессы. Не с точки зрения, как всё происходит (здесь, конечно, по-другому), а именно "абстрактных" процессов. Наверное, и модель можно по подобию создать.

Я не совсем понимаю что и чем вы планируете хеджировать. Это рынок одного товара - ЭЭ. В начале часа все производители назначают свою цену продажи и объем ЭЭ в ваттах. Цена действительна в очень узком временном интервале. При этом цена альтернативной генерации всегда значительно ниже вашей цены. Мало того, она еще может быть ниже вашей себестоимости. Соответственно в плюсе вы можете оказаться только при том условии, что их мощность уже выбрана и ваша цена является следующей по величине. Могут быть такие ситуации, как описывала Королева, когда спрос падает, а уголь уже горит. Тогда вам выгодно продавать уже по любой цене, даже на 1000$ ниже себестоимости.

Да, вы не можете на этом рынке скупить все споты, которые ниже вашей цены и перевыставить по своей цене. Тут такой фокус не работает. Так же, купив или продав мощность вы обязаны исполнить свои обязательства через полчаса и не можете повлиять на это время.

[tessob]

Каких уравнений? Алгебраических, дифференциальных, стохастических дифференциальных? Вы вроде как про последние упоминали. Не смогли ли Вы кратко описать? Я в области энергетики никогда не работал.
Решить нелинейную систему аналитически? Вы, наверное, просто гений математики. Честно говорю.

Черт, я как знал, что нужно писать Арифметически...
Вы не допускаете, что если в системе уравнений все неизвестные в какой-то момент времени оказываются детерминированы, то от этого она не перестает быть системой? В идеале все сойдется к интегрированию довольно узкого участка гладкой функции. Все остальное окажется константами. Хотя, может это только я один считаю, что не перестанет...

Самой сложное, что вам необходимо посчитать при определении цены - это сколько калорий придется израсходовать для генерации заданного объема мощности. Зная калорийность угля (лаборатория скажет), можно вычислить объем угля. Цена угля - константа. Все остальное тоже будет константой.

Сразу оговорюсь. Численно имеет смыл решать тогда, когда вы хотите выбирать оптимальное сочетание работы нескольких сильно разных генераторов. Так же вы можете заявлять для каждого типа генераторов свои споты с разными ценами. И еще вопрос что тут лучше.

[Физик-Лирик]

[Я не совсем понимаю что и чем вы планируете хеджировать.

Насколько я понял формулировку, есть "опция" - электричество и есть "сток" - генерация энергии. Если цена электричества растёт, то стоимость "опции" падает (аж до отрицательной величины). Это компенсируется генерированием энергии по высокой цене.

... что нужно писать Арифметически...
Вы не допускаете, что если в системе уравнений все неизвестные в какой-то момент времени оказываются детерминированы, то от этого она не перестает быть системой? В идеале все сойдется к интегрированию довольно узкого участка гладкой функции. Все остальное окажется константами. Хотя, может это только я один считаю, что не перестанет...

Честно говоря, я не совсем понимаю. Если вначале была система, то она и останется системой. Вы имеете в виду, что вначале (что это значит?) была система стохастических диффуров? Или что-то другое? Стохастические диффуры тоже можно. Может какие ссылки есть? А если стохастические диффуры, то как моделируется стохастика? Броуновским движением и в итоге все сводится с интегралу Ито? Или просто стохастическая часть отбрасывается в коротком промежутке времени? Я не работал с электрическим рынком, отсюда и вопросы.

[tessob]

Честно говоря, я не совсем понимаю. Если вначале была система, то она и останется системой. Вы имеете в виду, что вначале (что это значит?) была система стохастических диффуров? Или что-то другое?

Мне кажется, настало время приходить к единому знаменателю.
В общем, после последних уточнений Королевы статистические диффуры можно смело отбросить (забыть) как и случайные блуждания. Они как были, так и остались, но на переформулированную задачу они уже больше не влияют. Текущая задача сводится к очень простой постановке:

1. есть один покупатель (он не один, но на спотовом рынке ведет себя как один)
2. есть множество продавцов
3. у каждого продавца есть множество генераторов (с равными или разными свойствами)
4. каждый генератор создает некоторое количество идентичного продукта - ВАТТ (от нуля до константы)
5. каждый ватт принадлежащий любому генератору имеет стоимость больше нуля (стоимость считается не линейно, это функция от режима работы, т.к. КПД отличается в разных режимах )
6. каждый продавец имеет дополнительную константу затрат, которые не зависят от генерации

Нужно установить цену на ВАТТ, которая максимизирует прибыль. Прибыль - это свободная переменная.
В случае Королевы, есть несколько продавцов которые всегда будут называть цену ниже чем ее. Однако:

• если спрос меньше или равен их предложению, то ваша прибыль становится отрицательной (т.к. уголь продолжает сгорать под турбиной)
• если спрос больше их предложения, то на эту разницу вы можете предложить свою цену

Соответственно весь хеджинг только в этом месте.

Зная мощность таких демпинговых продавцов и график потребления ЭЭ, как мне кажется, не особо сложно посчитать когда нужно и не нужно делать споты, что бы потом не уходить в минус.

Физик-Лирик, возможно Вы в этом сможете увидеть некую минимакс оптимизацию, но в этой теме я уже совсем слаб.

Если цена электричества растёт, то стоимость "опции" падает (аж до отрицательной величины).

Спот не может быть отрицательным. Он всегда больше нуля. Прибыль может быть отрицательная.

З.Ы. Если что в постановке не понятно, то лучше переспрашивайте. Реально сложно все учесть сходу.

[Физик-Лирик]

Мне кажется, настало время приходить к единому знаменателю.
В общем, после последних уточнений Королевы статистические диффуры можно смело отбросить (забыть) как и случайные блуждания. Они как были, так и остались, но на переформулированную задачу они уже больше не влияют.
Нужно установить цену на ВАТТ, которая максимизирует прибыль. Прибыль - это свободная переменная.

Спасибо. Теперь понятнее.
А чью прибыль надо максимизировать, покупателя или продавца? Я так понимаю продавца. Хотя максимум продавца есть минимум для покупателя.

[Физик-Лирик]

Спот не может быть отрицательным. Он всегда больше нуля. Прибыль может быть отрицательная.

Под "опцией" я скорее имел в виду разность между покупочной и продажной ценой, о чем писала Королева выше.

[tessob]

А чью прибыль надо максимизировать, покупателя или продавца? Я так понимаю продавца. Хотя максимум продавца есть минимум для покупателя.

Королева продавец. Мы вроде с этого начинали. Нет, конечно, если на форум придет покупатель с интересным предложением, то...

У меня мозг в минимакс оптимизацию и теорию игр совсем не работает. Я часто переслушиваю (пока катаюсь по 800км) или перечитываю некоторые вещи. Вроде все логично и как-то даже хорошо согласуется со многими бизнес задачами. Однако, когда сталкиваюсь с чем-то прикладным, чаще пытаюсь обойти, чем решать.

[Физик-Лирик]

Я не только продавец, но и покупатель. Компания имеет два бизнеса: генераторы и retail в одном флаконе.

Спотовая цена таки может быть отрицательной, диапазон возможной цены от -$1000 до $14,800 при среднегодовом $50-150.

Собственно, это я и называл хеджированием в предыдущих постах. Как можно выбрать стратегию, чтобы в любой момент времени быть "мартингалом"? Типа продал контракт, а чтобы избежать падения от высоких цен - вкладываешься в производство. Ну чем не аналог "опции"?

[Физик-Лирик]

Остальное пошла перечитывать

Остальное как-то выглядит по другому.

[Сабина]

https://www.eventbrite.com/o/data-weekends-8508264847

https://www.packtpub.com/packt/free-ebo ... e-learning

[Сабина]

Ну вот приехали . Гугл говорит что chatbots have the potential to replace data analysts