Я так и не понял, как это все использовать...

[Мальчик-Одуванчик]

А какие есть success stories для big data?

Гугловский переводчик

[geek7]

А какие есть success stories для big data?

Гугловский переводчик

Ну это не совсем big data. А так - кортана тоже на скайп переводчике тренировалась, да на фильтрации детской порнухи

[OtecFedor]

А какие есть success stories для big data?

P.S.
Data mining, я считаю, тоже лженаукв
Единственный пример работающего data mining - это велосипеды в демо базе AdventureWorks )

Зависит от определения success. Проблема с серьезным применением big data ето имплементация серьезных же рекомендации.
К примеру, на конференции чел из универа красиво рассказывал как они используя big data предсказывают blackouts. На что чувак из индустрии (ABB по-моему) заметил что все ето есть уже лет 20, проблема что с етим делать. То есть если ваша модель предсказывает что для спасения енергосистемы США надо вырубить ток DC или СанФранциско ( около $20B lost business), кто вам даст authorization.

То же касается всего остального не-игрушечного.

[AlexTheBlack]

Я снимаю трубку циско-фона и набираю номер отдела, где работают Ученые Данных. Что мне у них спрашивать? Мне в общем-то все равно, что у них там кластеры и Hadoop с mapreduce. Мне важно только две вещи: чтобы они знали, как собрать нужную информацию, и чтобы они могли ее проанализировать на предмет корреляций.

Ну да. Традиционно данные делились на важные и неважные. Например форум не хранит таймстемпы и локейшины всех юзер логинов вместе с просмотром постов. Потому что это это считалось мусором да и занимает немало места. Но сегодня есть теория что это конкурентное преимущество и если его проанализировать ( например классифицировать посты ) то можно определять всякие хитрые взаимосвязи - например что значительная часть москвичей являются латентными гомосексуалистами так как очень активно обсуждают посты про геев

Соответственно это дату можно использовать - например Айсбергу показать рекламу гей клаба, вам новый телескоп а Комми спамить форекложерами в КА.

Че вам москвичи, отняли что-то?Конфетку стянули?Что вы на них так злы? В школе латенто притесняли?

[АццкоМото]

Я снимаю трубку циско-фона и набираю номер отдела, где работают Ученые Данных. Что мне у них спрашивать? Мне в общем-то все равно, что у них там кластеры и Hadoop с mapreduce. Мне важно только две вещи: чтобы они знали, как собрать нужную информацию, и чтобы они могли ее проанализировать на предмет корреляций.

Ну да. Традиционно данные делились на важные и неважные. Например форум не хранит таймстемпы и локейшины всех юзер логинов вместе с просмотром постов. Потому что это это считалось мусором да и занимает немало места. Но сегодня есть теория что это конкурентное преимущество и если его проанализировать ( например классифицировать посты ) то можно определять всякие хитрые взаимосвязи - например что значительная часть москвичей являются латентными гомосексуалистами так как очень активно обсуждают посты про геев

Соответственно это дату можно использовать - например Айсбергу показать рекламу гей клаба, вам новый телескоп а Комми спамить форекложерами в КА.

Че вам москвичи, отняли что-то?Конфетку стянули?Что вы на них так злы? В школе латенто притесняли?

Ух, какой батхерт! В мемориз сразу

Sent from my Nexus 6 using Tapatalk

[AlexTheBlack]

Я снимаю трубку циско-фона и набираю номер отдела, где работают Ученые Данных. Что мне у них спрашивать? Мне в общем-то все равно, что у них там кластеры и Hadoop с mapreduce. Мне важно только две вещи: чтобы они знали, как собрать нужную информацию, и чтобы они могли ее проанализировать на предмет корреляций.

Ну да. Традиционно данные делились на важные и неважные. Например форум не хранит таймстемпы и локейшины всех юзер логинов вместе с просмотром постов. Потому что это это считалось мусором да и занимает немало места. Но сегодня есть теория что это конкурентное преимущество и если его проанализировать ( например классифицировать посты ) то можно определять всякие хитрые взаимосвязи - например что значительная часть москвичей являются латентными гомосексуалистами так как очень активно обсуждают посты про геев

Соответственно это дату можно использовать - например Айсбергу показать рекламу гей клаба, вам новый телескоп а Комми спамить форекложерами в КА.

Че вам москвичи, отняли что-то?Конфетку стянули?Что вы на них так злы? В школе латенто притесняли?

Ух, какой батхерт! В мемориз сразу


Sent from my Nexus 6 using Tapatalk

Не первый раз мы, москвичи, становимся мишенью для тупых острот.
Но со стороны Киева, эти попытки "схохмить" выглядят исключительно самоиронично, с их полной коллекцией ляшков в Раде.
Пипедак на пипедаке...
оффтопик, конечно.

[Palych]

Подумался мне такой use case for big data:
Допустим адвокаты по разводам хотят найти тех, у кого супруги тяжело заболели и предложить услуги по избавлению от бремени.
Можно нанять учёных по большим датам, те прошерстят всякие логи, выдадут некоторый список. Скорее всего далеко не идеальной точности.
С другой стороны можно потырить данные из больниц. Но вроде как не совсем законно...
А можно "объединить бренды": заказать ученым пошерстить что-то там, не ставя требований по точности, например студентов нанять нахаляву.
Полученный список выбрасываем, заменяем потыренным.
В результате все довольны: Ещё одна победа Нестора Петровича, большие данные победоносно шагают по планете...

[Palych]

Кстати, а как дебажить, траблшутить большие данные?
Есть ли там понятие тестов, QA, etc.?
Как узнать/убедиться что получили верный результат прежде чем выдавать его на гора?

[Dmitry67]

Я удивляюсь что еще данные GPS с телефонов не используют для вычисления измен

[x.angie]

А какие есть success stories для big data?

Как справедливо заметили выше, хотелось бы увидеть определение что такое success stories и big data в вашей трактовке. Но хрестоматийный пример (я его слышал/читал несколько раз, но источник не вспомню) это беременная девушка и покупки в супермаркете.

Давным давно, в далёкой-далёкой галактике В одной из больший сетей (Wall-Mart, что-ли) сделали систему (Big Data, всё такое), которая по покупкам старалась предстаказать как можно больше информации о покупателе, на основен корелляций. И вот одной девочке, после покупок в этом супермаркете, пришли купоны на подгузники, хотя ей было то ли 18ть, то ли что-то вроде того. Пришёл её отец в этот супермаркет, думал что это какая-то шутка Началм разбираться. Оказалось, что на основе покупок этой девушки, система посчитала что она беременна, и предсказала что ей скоро понадобятся подгузники. И начала высылать ей купоны на эти самые подгузники. Девочка проверилась, и оказалось что таки да.

Больше подробностей не вспомню, но можно погуглить, история цитировалась лет пару назад как лютый вин Big Data

[fruit6]

Байка про Target была

[Komissar]

Так вот, очень редко кто хотел дополнительного анализа, а те, кто хотел, обычно требовали очень специфичные действия, типа найди мне измерения прибора ХХХ модели ЫЫЫ, сделанные в декабре 2001 года, с химикатом таким то. Обычно мы сочиняли ad hock SQL, высасывали из ДБ блобы для этих параметров и скидывали их юзверю на файл-шер, со словами "вот файлО, сам разбирайся". Как-то все справлялись.

Так фишка в том что предложение сначала должно минимум появится (узнать о нем и понять на самом деле) а уж там спрос подтягиваеся. В Вашей системе никто бы и не стао простить сделать сравнительный анализ точности\надежности приборов за Н лет

Нет, химики, занятые в R&D новых лек. препаратов, не стали бы отрываться на такой ресерч. Но в индустрии, где используются приборы не меньше $500К за штуку (а часто за мильен), есть много профессиональных аналитиков и тестировщиков, у которых можно купить сравнительный ресерч за относительно небольшие деньги. Часто purchasing dept покупает от имени компании такие сводные таблицы о приборах, а далее великий вопрос: большие раки но по 5, или маленькие по 3?

[Komissar]

Оказалось, что на основе покупок этой девушки, система посчитала что она беременна, и предсказала что ей скоро понадобятся подгузники. И начала высылать ей купоны на эти самые подгузники. Девочка проверилась, и оказалось что таки да.

Больше подробностей не вспомню, но можно погуглить, история цитировалась лет пару назад как лютый вин Big Data

Моей жене в начале 90х все время высылали купоны на беби-формулу, а тогда гундосный медленный лаптоп с МС-ДОС стоил $2300, и биг дейтой и не пахло.

[Komissar]

Так фишка в том что предложение сначала должно минимум появится (узнать о нем и понять на самом деле) а уж там спрос подтягиваеся. В Вашей системе никто бы и не стао простить сделать сравнительный анализ точности\надежности приборов за Н лет

Хорошо, предположим, у меня всего 2 (но разных) прибора, каждый снимает по 25 важных показателей (для простоты задачи, предположим, что это одни и те же показатели у обоих приборов (температура, давление, концентрации химикатов...).

Скажем, я хочу показать "предложение": какие параметры с какими можно было бы скоррелировать и поизучать в рамках биг дейты?

Сколько возможных комбинаций параметров Вы предложите химикам (у которых свои задачи и дедлайны) на рассмотрение и утверждение?

[Komissar]

Оказалось, что на основе покупок этой девушки, система посчитала что она беременна, и предсказала что ей скоро понадобятся подгузники. И начала высылать ей купоны на эти самые подгузники. Девочка проверилась, и оказалось что таки да.

ну если 3 месяца подряд покупать Pregnancy Test Kit, то и купоны на детское питание скоро начнут приходить.

[city_girl]

А какие есть success stories для big data?

Как справедливо заметили выше, хотелось бы увидеть определение что такое success stories и big data в вашей трактовке. Но хрестоматийный пример (я его слышал/читал несколько раз, но источник не вспомню) это беременная девушка и покупки в супермаркете.

Давным давно, в далёкой-далёкой галактике В одной из больший сетей (Wall-Mart, что-ли) сделали систему (Big Data, всё такое), которая по покупкам старалась предстаказать как можно больше информации о покупателе, на основен корелляций. И вот одной девочке, после покупок в этом супермаркете, пришли купоны на подгузники, хотя ей было то ли 18ть, то ли что-то вроде того. Пришёл её отец в этот супермаркет, думал что это какая-то шутка Началм разбираться. Оказалось, что на основе покупок этой девушки, система посчитала что она беременна, и предсказала что ей скоро понадобятся подгузники. И начала высылать ей купоны на эти самые подгузники. Девочка проверилась, и оказалось что таки да.

Больше подробностей не вспомню, но можно погуглить, история цитировалась лет пару назад как лютый вин Big Data

История рассказывает скольким девушкам и женщинам купоны высылались зазря? И сколько стОило угадать с большой вероятностью, что ей понадобяться подгузники? С таким же успехом можно высылать купоны всем женщинам подряд в возрасте от 18 до 35 лет, кмк точность попадания будет примерно такая же, если не выше.

И потом такое копание в таких данных смахивает на копание в личных и интимных делах - клиент должен быть счастлив?

[AlexTheBlack]

А какие есть success stories для big data?

Как справедливо заметили выше, хотелось бы увидеть определение что такое success stories и big data в вашей трактовке. Но хрестоматийный пример (я его слышал/читал несколько раз, но источник не вспомню) это беременная девушка и покупки в супермаркете.

Давным давно, в далёкой-далёкой галактике В одной из больший сетей (Wall-Mart, что-ли) сделали систему (Big Data, всё такое), которая по покупкам старалась предстаказать как можно больше информации о покупателе, на основен корелляций. И вот одной девочке, после покупок в этом супермаркете, пришли купоны на подгузники, хотя ей было то ли 18ть, то ли что-то вроде того. Пришёл её отец в этот супермаркет, думал что это какая-то шутка Началм разбираться. Оказалось, что на основе покупок этой девушки, система посчитала что она беременна, и предсказала что ей скоро понадобятся подгузники. И начала высылать ей купоны на эти самые подгузники. Девочка проверилась, и оказалось что таки да.

Больше подробностей не вспомню, но можно погуглить, история цитировалась лет пару назад как лютый вин Big Data

История рассказывает скольким девушкам и женщинам купоны высылались зазря? И сколько стОило угадать с большой вероятностью, что ей понадобяться подгузники? С таким же успехом можно высылать купоны всем женщинам подряд в возрасте от 18 до 35 лет, кмк точность попадания будет примерно такая же, если не выше.

И потом такое копание в таких данных смахивает на копание в личных и интимных делах - клиент должен быть счастлив?

Возможно - это такая тонкая реклама target , чтоб привлечь ИТ ориентированный народ туда.

[fruit6]

Ойти сервисы в таргете зааутсорсены, не помню, в офшор наверное. С вирусами в кассовых аппаратах бороться некому.

[Uzito]

ну если 3 месяца подряд покупать Pregnancy Test Kit, то и купоны на детское питание скоро начнут приходить.

Давайте уж посмотрим на реальные факты, которые привели к решению Target на отсылку рекламы про новорожденных:
-- покупатель переключилась на покупку unscented lotion и unscented soap
-- начала покупать hand sanitizers & washcloths
-- начала покупать витамины и минеральные добавки (кальций, магний, цинк)

О покупке pregnancy test kits речи вообще не было.

[Komissar]

Давайте уж посмотрим на реальные факты, которые привели к решению Target на отсылку рекламы про новорожденных:
-- покупатель переключилась на покупку unscented lotion и unscented soap
-- начала покупать hand sanitizers & washcloths
-- начала покупать витамины и минеральные добавки (кальций, магний, цинк)

ну тогда это пальцем в небо.

[perasperaadastra]

Насчет Таргета — это точно BD или все таки DB? Данные о покупках вполне структурированные, да и объем их, скорее всего, не такой уж и неподъемный. Таргет, кстати, не первым придумал выискивать корреляции. В бизнес курсах рассказывают про Tesco как первопроходца в области retail. Правда тоже непонятно, BD это или DB...

[x.angie]

История рассказывает скольким девушкам и женщинам купоны высылались зазря? И сколько стОило угадать с большой вероятностью, что ей понадобяться подгузники?

city_girl, если это не риторические вопросы, то вы их задаёте не тому человеку. Я надеюсь, что эта ссылка -> http://www.forbes.com/sites/kashmirhill ... adc6834c62" onclick="window.open(this.href);return false; полностью удовлетворит ваше любопытство. Там есть всё, и GuestID, и привязка к кредиткам, и исторические данные/дата майнинг, и девочка и её папаша, и скандалы-интриги-расследования. Наслаждатесь.

С таким же успехом можно высылать купоны всем женщинам подряд в возрасте от 18 до 35 лет, кмк точность попадания будет примерно такая же, если не выше.

Я думаю что у нас есть хороший шанс из первых рук господина товарища Комиссара получить feedback о том, насколько это было эффективно и полезно ему как customer:

Моей жене в начале 90х все время высылали купоны на беби-формулу, а тогда гундосный медленный лаптоп с МС-ДОС стоил $2300, и биг дейтой и не пахло.

И потом такое копание в таких данных смахивает на копание в личных и интимных делах - клиент должен быть счастлив?

Да ну как сказать. У меня вот есть несколько скидочных карточек разных мазагинов/супермарткетов. В некоторых из них я не заполнял анкету, в некоторых заполнял. В тех что я не заполнял, есть просто лог моих транзакций за какой-то промежуток времени? привязанных к некоему абстрактному ID моей карты. Они по ним пытаются что-то predict. К примеру, недавно мне вылез купон на кассе на воду, потому что я купил эту же самую воду в этот раз. Копались они в моих личных данных? Да нет. В других супермаркетах я заполнял анкеты. Там самая простейшая информация - адрес, фамилия/имя. Заполнять было не обязательно, но мне не жалко.

Так что ответ на ваш вопрос - depends.

[OtecFedor]

ну если 3 месяца подряд покупать Pregnancy Test Kit, то и купоны на детское питание скоро начнут приходить.

Давайте уж посмотрим на реальные факты, которые привели к решению Target на отсылку рекламы про новорожденных:
-- покупатель переключилась на покупку unscented lotion и unscented soap
-- начала покупать hand sanitizers & washcloths
-- начала покупать витамины и минеральные добавки (кальций, магний, цинк)

О покупке pregnancy test kits речи вообще не было.

Вах, силиконовыи Холмс. Дедукция, однако.

[perasperaadastra]

Кстати, будет забавно, если всем покупающим мороженое станут присылать купоны на спасательные жилеты.

[Deckel]

Спасибо всем за участие в дискуссии!

У меня появился еще один вопрос. Допустим, компания накопила всевозможные данные за последние 2 года. Про них будет знать главный по ИТ. Но он не будет знать, что в них искать. Зато это будет знать главный по маркетингу. Но он не будет знать, какие данные есть у компании. Конечно, главный по маркетингу может наудачу придти к главному по ИТ и спросить про корреляцию между длиной пальцев и счетом в банке, но таких данных, конечно же, не окажется. А спрашивать про корреляцию между, например, маркой обуви и ценностью покупателя слишком очевидно — такие вещи давно делаются и без всяких Больших Данных. И как быть в такой ситуации? Как соединить ИТ и маркетинг воедино? Хотя, на самом деле, не следует ограничиваться маркетингом — наверняка у главного по производству есть свои вопросы про улучшение эффективности. Как научить всех этих людей общаться между собой? Или же решение проблемы заключается в том, чтобы собрать команду ученых данных, которые будут выдавать произвольную аналитику, и надеятся на то, что в какой-то момент в этой аналитике появится жемчужина?

В общем итерационным методом - сначала рассказывать сказки маркетологам, смотреть в каком месте они возбуждаются. Сказки можно брать из прессы. Маркетологи должны кидать идеи аналитикам, смотреть, что те могут. И так по кругу, расказывая о результатах широкому кругу людей. Постепенно мозги должны перекрестно опылиться. Так нам сказал Великий Гартнер.