Я так и не понял, как это все использовать...

[ALV00]

Да элементарная задача, точно предсказать потребление электричества каждые 5 минут в данной нетворк, имея данные по electricity demand based on smart meters, на этом можно очень хорошо заработать. А это и есть big data problem. Каждые 5 минут smart meters на 500,000 кастомеров генерируют 200МБ даты, а умножте на 2,628,000 потому что мне за последние 5 лет надо. А если кастомеров 10 миллионов?

Похоже на предсказание поведения сток маркета. Лучшие умы над этим бьются, а реально работающей модели так и нет. Потому что слишком много факторов, которые невозможно учесть. От погоды до терактов. А самый успешный инвестор - Баффет - вообще с компьютером не особо дружит, тем более с биг датой.

[Deckel]

Сток маркет это теоретически некорректная задача.
А агрегация возможна когда знаешь, какую информацию можно без потерь выкинуть. А тут уже и мелочи могут приносить деньги...

[DropAndDrag]

с Big Data пока не будет блестящей идеи, как использовать каждую конкретную мусорку, никакой прибыли не получить.

Да элементарная задача, точно предсказать потребление электричества каждые 5 минут в данной нетворк, имея данные по electricity demand based on smart meters, на этом можно очень хорошо заработать. А это и есть big data problem. Каждые 5 минут smart meters на 500,000 кастомеров генерируют 200МБ даты, а умножте на 2,628,000 потому что мне за последние 5 лет надо. А если кастомеров 10 миллионов?

Наши уже полгода никак не родят инфраструктуру. Дата есть, моделей полно, инфраструктуры это всё запустить (Hadoop, Azure, или другое что, я не специалист) - нет.

мда - давайте-ка по существу
- датчики. 200 МБ / 500 тыс = 400 Б; это 200 измерений за 5 минут или почти 1 измерение за секунду. что вы на этих данных конкретного мелкого потребителя предскажите? что они меньше подтрябляют в дневные и ночные часы в рабочее дни? так это и так ясно. Поставьте ОДИН датчик на каждый нейбохуд и этого достаточно
- я не знаю кто ваши, но наши давно занимаются ахинеей в этих делах, начиная от глобального маркета электричества (грубо говоря цена - это стоимости генерящей станции и доставки), кончая разными приспособами на концах (емкостей, солнечных батарей).
в конце концов посмотрите например. вот тут https://www.smartgrid.gov/files/VVO_Report_-_Final.pdf
да можно что-то съэкономить (если бы научились делать крутые батарии, то да - это было бы круто), но предсказывать практически нечего - все и так ясно и видно, как божий день
- так же добавлю, энергоемкие компании напрямую работают с генерящими компаниями и России (еще до перестройки), и тут .

[ALV00]

Ничего похожего на сток маркет. Потребление электричества практически постоянно given weather and seasonal variations. Ошибка только в прогнозе погоды. У меня уже 2-4% ошибка, а надо всего ничего, до 1% довести. Потом можно очень классную вещь замутить, demand management. Это когда все крупные но не критичные девайсы (домашние кондиционеры, например) подключаются напрямую, и их можно автоматом отключать на небольшое время, когда случается surge of demand. Но вначале надо знать, когда этот самый самый surge of demand случится.

Вы не думаете, что там может быть принципиально непредсказуемый шум? Кондиционеры включаются в случайные моменты времени, люди включают плиты когда им заблагорассудится, поезда могут слегка отклоняться от графика. Вы учитываете планы работы заводов, расписание футбольных матчей и т.д. и т.п?

[DropAndDrag]

с Big Data пока не будет блестящей идеи, как использовать каждую конкретную мусорку, никакой прибыли не получить.

Да элементарная задача, точно предсказать потребление электричества каждые 5 минут в данной нетворк, имея данные по electricity demand based on smart meters, на этом можно очень хорошо заработать. А это и есть big data problem. Каждые 5 минут smart meters на 500,000 кастомеров генерируют 200МБ даты, а умножте на 2,628,000 потому что мне за последние 5 лет надо. А если кастомеров 10 миллионов?

Наши уже полгода никак не родят инфраструктуру. Дата есть, моделей полно, инфраструктуры это всё запустить (Hadoop, Azure, или другое что, я не специалист) - нет.

мда - давайте-ка по существу
- датчики. 200 МБ / 500 тыс = 400 Б; это 200 измерений за 5 минут или почти 1 измерение за секунду. что вы на этих данных конкретного мелкого потребителя предскажите? что они меньше подтрябляют в дневные и ночные часы в рабочее дни? так это и так ясно. Поставьте ОДИН датчик на каждый нейбохуд и этого достаточно
- я не знаю кто ваши, но наши давно занимаются ахинеей в этих делах, начиная от глобального маркета электричества (грубо говоря цена - это стоимости генерящей станции и доставки), кончая разными приспособами на концах (емкостей, солнечных батарей).
в конце концов посмотрите например. вот тут https://www.smartgrid.gov/files/VVO_Report_-_Final.pdf
да можно что-то съэкономить (если бы научились делать крутые батарии, то да - это было бы круто), но предсказывать практически нечего - все и так ясно и видно, как божий день
- так же добавлю, энергоемкие компании напрямую работают с генерящими компаниями и России (еще до перестройки), и тут .

Зачем мне датчики на нейбохуд ставить, когда у меня датчики на каждый дом по всему штату уже два года стоят. Дата вся есть, и я даже могу с ней поиграться, но мне надо модель в режиме реального времени тренировать, т.е каждые полчаса хотя бы.

Мне надо датчики на каждый кондиционер, чтобы его отключать на пять минут, когда взлетает цена. У нас цена средняя на wholesale маркете 40, а может взлететь пару раз до 13,500. И изза таких пару раз средняя цена увеличивается до 44. Так вот если во время высокой цены на пять минут отключить 20% кондиционеров по всему штату, а потом отключать волной следующие 20%, и так далее, кастомеры почти не заметят, но скидку в 10% на общую стоимость электричества они очень даже приветствуют.

И таких задач очень много, они концептуально простые, но сложно имплементировать, ибо много даты.

1. тариф в рабочее время выше, чем в нерабочее. но цена для частника не взлетает в 44 раза на 5 минут??? вы прикалываетесь?
2. если цена для частника не взлетает, то какого хрена штат может отключать кондиционеры частников? А давайте еще электроплиты отключим, а люди готовятся к попойке )))
3. выполнить такую систему отключения в каждом доме. Если счетчики подключены, то нужен хотя бы провод до между щетчиками и щитком, где автомат и специальный автомат. но вообще-то нужно тащить провод до конционера, чтобы он аккуратно отключался. Вы прикинули во что это выливается?
5. ну и кондионеры все одно будут лететь чаще. я надеюсь вы понимаете лишний стоп-старт - это удар по печени )))

играйтесь с данными, делайте модели ...

кстати, по поводу датчиков по всем штату. я тоже так думал, но мне сказали, что обходчики ходят и смотрят показания счетчиков. я отвечаю да ладно вам, ходят и смотрят раз в год или три. а мне говорят, а ты посмотри свои счета - они в разные дни сняты и именно в эти дни появлялись обходчики!

[DropAndDrag]

Ну на самом деле большие данные иногда используются. В чем фишка? Данных много, и надо иметь средства чтобы их сохранить, и средства чтобы их обработать. Вот в этом и есть явление Big Data. В частности в Убер сохраняют инфомрацию с гироскопа и GPS для того чтобы определить водителей, которые водят небезопасно. Сколько у них водителей? Много. А сколько из них водятлов?

Но ведь проще обрабатывать эти данные в реальном времени на смартфоне того же водителя. Зачем хранить raw data? На каждого водителя будет агрегированная информация в конце рабочего дня (превышение скорости + % резких торможений). Это в общем-то тоже форма БД, но без специальной инфраструктуры.

А про анализ трафика с целью тайминга светофоров я бы согласился, но до сих пор я не видел удачного примера. Не знаю, может быть после подкрутки ситуация чуть-чуть улучшается, но как-то это совсем незаметно. Может, просто модели плохие...

+1.
я видел как в стендфорде или типа выпустили статью. как минимум значительная часть была посвещена движению машин по кругу с равным расстоянием между ними и одним светофором. светофор стал красным, собрал все машины и потом показывали динамический процесс как машины расползались по кругу. честно говоря я приторчал от времени расползания

[perasperaadastra]

Сурово в Австралии! Я, хоть и живу в холодной Канаде, но ни за что не позволил бы энергокомпании отключать кондиционер на пять минут, чтобы сэкономить $6 в месяц.

[perasperaadastra]

Сурово в Австралии! Я, хоть и живу в холодной Канаде, но ни за что не позволил бы энергокомпании отключать кондиционер на пять минут, чтобы сэкономить $6 в месяц.

Как я уже сказала, в Кали это уже работает. "Отключить на пять минут", это было грубо сказано, но смысл именно такой, мгновенно, напрямую и ненадолго уменьшить потребление, при этом это почти незаметно людям.

Ааа! Так это совсем другое дело! А то я себе уже такой энергетический концлагерь представил!

[ALV00]

Вот и моя свекровь удивлялась, как это я могу предсказать, когда старушка включит плиту. Я ей отвечала, что действия одной старушки я предсказать не могу, а действия сто тысяч старушек очень даже возможно. Law of Large Numbers называется.

Зачем же вы тогда следите за каждой конкретной старушкой? Все это туманно, честно говоря. Но флаг вам в руки

[Wolverene]

Что касается отключения кондиционеров, там все физически сложнее, его не отключают совсем, а переключают на lower capacity. Это уже работает в Калифорнии, гуглите SmartAC.

А, ну тогда это интерестнее - а то мне Эдисон предлагал такую установку поставить чтобы кондиционер на полчаса отключать - но у меня как раз днем дети и жена дома, и так температура выставлена на 78 градусов, так что он включается когда надо чтобы ее поддержать - а это значит что там уже 80 градусов достигла. И тут он берет и отключается, чтобы экономить энергию... Лучше я на час больше поработаю, зато весь месяц семья сможет нормально кондиционером пользоваться...

[perasperaadastra]

78 F! Это же жара! У меня стоит на 73 F и ни градусом больше!

[Palych]

Если же иметь механизм по сглаживанию взлетов, то ретейлер мог бы намного дешевле купить эту страховку (hedging), а значит, всем его клиентам снизить общую цену.

Для сглаживания взлётов не нужны хитромудрые вычисления и слежка за каждым чайником.
Простая формула и алгоритм в 50 строк справится не хуже.

[Palych]

Если же иметь механизм по сглаживанию взлетов, то ретейлер мог бы намного дешевле купить эту страховку (hedging), а значит, всем его клиентам снизить общую цену.

Для сглаживания взлётов не нужны хитромудрые вычисления и слежка за каждым чайником.
Простая формула и алгоритм в 50 строк справится не хуже.

Поделитесь алгоритмом?

Если нагрузка (усредненное значение за несколько минут) растёт и приближается к определённому значению - начинать ограничивать клиентов.
Тех которые могут/согласны.
В качестве примера можно посмотреть на любимый zVladом WLS. Но мне кажется даже это будет ненужным усложнением.
Кароче: "Взять всё и поделить!"

[Palych]

модель на самом деле простая очень, в аккурат 50 строк и занимает. Вся сложность в том, что ее надо пересчитывать постоянно, используя самые свежие данные. Иначе она не будет точно предсказывать.

Я откровенно не понимаю что значит предсказание в данном контексте.
Что собственно предсказывается, зачем...
Видно не судьба.

[Мальчик-Одуванчик]

Может так получиться, что все продавцы перейдут на это дело, потому что иначе они проиграют конкуренцию из-за своей неэффективности.

Можно порассуждать, что биг дата дает в плане экономики. Допустим, есть некий товар, его равновесная рыночная цена равна 50. Есть покупатель Вася, который может заплатить за этот товар максимум 60. Есть покупатель Петя, который может заплатить максимум 40. При старых рыночных отношениях продавец продал бы одну штуку товара Васе за 50, Вася сэкономил бы 10. Петя не купил бы этот товар. Теперь применяем индивидуальный прайсинг. Вася поставили цену 60, он купил так как заранее был согласен с такой ценой. Пете выставили цену 40, он тоже смог купить. В результате все довольны, продавец тоже, потому что он продал две штуки товара вместо одной и получил в среднем по 50 за штуку.

Правда, на первых порах конкуренция между продавцами будет ломать эту идиллию. Может найтись другой продавец, который согласится продать аналогичный товар Васе за 50. Но через какое-то время все продавцы поймут преимущества данной технологии. Богатые будут покупать дороже, бедные дешевле, производители больше производить. Наступит всеобщее счастье

Монополистам отдельных сегментов рынка навроде Apple такое как раз в тему. Васе впарят по номиналу или даже выше, а для Пети придумают очередную завлекаловку типа "супер-лояльного приверженца торговой марки" и таки вынут из него сороковник.

[perasperaadastra]

[DropAndDrag]

Drag-n-Drop, цена wholesale взлетает. Она влияет на среднюю годовую цену. Чем больше таких взлетов, тем хуже всем. Чтобы защититься от таких взлетов, utility retailer делает hedging, что стоит приличных денег, и в целом увеличивает общую стоимость электричества. Грубо говоря, если в этом году ожидается средняя годовая цена 40, то ретейлер (а значит, все его клиенты) платит 50 на год вперед фиксированно, из них 10 плата за риск, чтобы его не брать. Если же иметь механизм по сглаживанию взлетов, то ретейлер мог бы намного дешевле купить эту страховку (hedging), а значит, всем его клиентам снизить общую цену.

Что касается отключения кондиционеров, там все физически сложнее, его не отключают совсем, а переключают на lower capacity. Это уже работает в Калифорнии, гуглите SmartAC.

мда ))) а вы случайно не в коммунизме живете
давайте возьмем пример с солнечными батареями. сначала их толкали и давали скидки по таксам (может пока и еще дают), и принимают энергию назад. а теперь вот ретейлер говорят, что стало много таких умных потребители и наваривать бабла не на чем. Так что предлагают сделать минимальную фиксированную плату за подключение, а над ней уже играться с потребляемой энергией.

Так же будет и с wholesale. пиковых нагрузок достаточно вот они и гребут деньжат с тех, кто может платить. И скорее всего это не частный сектор, а компании. Уменьшатся пики - придумают другие варианты оплаты. Или вы думаете, что производители электроэнергии согласится получать меньше прибыли?
Можно было бы сказать, что для оборудования хорошо - не иметь всплесков и тогда можно уменьшить расходы. Честно говоря я сомневаюсь, что пойдут по этому пути и вот почему. Лет 10 назад были веерные отключения. Одна станция останавливалась, соседняя пыталсь восполнить и грохалась, так не могла столько произвести. В итоге были очень большие отключения по площади.

[DropAndDrag]

Если же иметь механизм по сглаживанию взлетов, то ретейлер мог бы намного дешевле купить эту страховку (hedging), а значит, всем его клиентам снизить общую цену.

Для сглаживания взлётов не нужны хитромудрые вычисления и слежка за каждым чайником.
Простая формула и алгоритм в 50 строк справится не хуже.

Поделитесь алгоритмом?

Если нагрузка (усредненное значение за несколько минут) растёт и приближается к определённому значению - начинать ограничивать клиентов.
Тех которые могут/согласны.
В качестве примера можно посмотреть на любимый zVladом WLS. Но мне кажется даже это будет ненужным усложнением.
Кароче: "Взять всё и поделить!"

Я стесняюсь спросить, а как вы определите это "определенное значение"? А то оно разное совершенно, в зависимости от погоды, количества установленных солнечных батарей на крышах, времени дня, не идут ли ремонтные работы на коннекторе.

Но вообще я согласна, модель на самом деле простая очень, в аккурат 50 строк и занимает. Вся сложность в том, что ее надо пересчитывать постоянно, используя самые свежие данные. Иначе она не будет точно предсказывать.

определенное значение - это стоимость энергии в данный момент.
сомневаюсь, что при больших пиках подход с отключение кучи мелких потребителей будет работать.

[Komissar]

Мне интересна big data и модели, IT инфраструктура чтобы модели работали. Есть у кого что сказать?

big data не нужна. Нужны хорошие затюненные нормализованные БД для метадаты, плюс файлопомойка для просто даты. Ну и не совсем тупая отлаженная бизнес-логика над всем этим.

[Мальчик-Одуванчик]

Взял на корсере курс введения в Большие Данные. У меня интерес в этом исключительно с точки зрения бизнеса. В курсе рассказали, какой хороший Hadoop, и как важно понимать, что такое Большие Данные. Забыли рассказать только одну вещь: а как это все использовать?

Недавно столкнулся на ебэе с одной интересной ситуацией:
Выставлял на продажу вещь, причем название написал приблизительное. Интересное заключалось в том что система достаточно точно угадала вес по не совсем точному наименованию. Категорию товара указал, правда, достаточно точно.

[Deckel]

Взял на корсере курс введения в Большие Данные. У меня интерес в этом исключительно с точки зрения бизнеса. В курсе рассказали, какой хороший Hadoop, и как важно понимать, что такое Большие Данные. Забыли рассказать только одну вещь: а как это все использовать?

Недавно столкнулся на ебэе с одной интересной ситуацией:
Выставлял на продажу вещь, причем название написал приблизительное. Интересное заключалось в том что система достаточно точно угадала вес по не совсем точному наименованию. Категорию товара указал, правда, достаточно точно.

Это скорее machine learning а не бигдата

[x.angie]

Больше подробностей не вспомню, но можно погуглить, история цитировалась лет пару назад как лютый вин Big Data

Вот видео, в котором Григорий Бакунов рассказывает про этот кейс (к сожалению, на русском), с 6 минуты и 42 секунды, здесь не отматывает на нужную метку почему-то.

phpBB [video]

Вообще, Григорий - достаточно примечательный чувак, и видео стоит того, что бы посмотреть его всё. В конце, как бонус, пара слов про Alpha Go vs. какой-то кореец Ли Сидоль.