BI, Data Analyst, Data Mining несколько вопросов.

[ie]

добрый день.

воопщем такая ситуация на работе.
есть тетя 1 шт. работает долго и упорно гоняет/пишет сама какие то квири в SQL Server,
строит красивые репорты в xls, периодически находит какие то ляпы в данных, на митинге выступает,
умные весщи говорит.

проблема в том что тетя собралась на пенсию.

есть ее и мой босс 1шт. который думает как тётю заменить, а главное на кого.

с одной стороны вроде как нужен делевопер, но у нас есть несколько контракторов и есть я

с другой стороны босс хочет чтоб кагда тетя уйдет и придет кто то другой, все стало еще круче
чем сейчас. нужен человек с дополнительными бонусными знаниями/навыками.
другой босс на митингаг кидается словами "BI, Data Analyst, Data Mining".
я пытаюсь понять каким боком это все вписывается в нашу конкретную ситуацию.

неверно немного сумбурно написал.

что бы я хотел услышать... в двух словах может тут кто занимается этим и мог бы рассказать/ткуть палцем куда пойти и что почитать. может форум какой есть где крутые аналисты тусуются,
где можно задать глупый вопрос и не получить по башке канделяброй?

несколько слов о конторе: это воопщем икомерс + дилерская сеть.
в базе данных продукты + продажи + промошены + дилеры.

any suggestion/questions will be appreciated.

[Flash-04]

вопрос в догонку, что посоветуете почитать по "machine learning" чтобы получить более-менее представление о предмете?
есть нехорошее подозрение что мне скоро придется столкнуться с Big Data очень плотно.

[Tarasik]

На той же курсере есть более сжатый курс https://class.coursera.org/datasci-001/class - там не только об машинном обучении но и другие технологии затронуты, правда его сейчас не читают но можно найти архивы и порешать задачки.

[Zorkus]

А в чем сложность в Octave делать?

[Stanford Wannabe]

А в чем сложность в Octave делать?

Видимо, в том, что он под Линукс, и не всем охота этих танцев с бубном с непривычки.

[Tarasik]

А в чем сложность в Octave делать?

Видимо, в том, что он под Линукс, и не всем охота этих танцев с бубном с непривычки.

Именно. Потому я и не делала упражнения по курсу Machine Learning, только теорию читала. А ведь все алгоритмы можно было бы прекрасно преподавать, используя R.

Так в задачках же как раз самый смысл.

[crypto5]

А в чем сложность в Octave делать?

Видимо, в том, что он под Линукс, и не всем охота этих танцев с бубном с непривычки.

Именно. Потому я и не делала упражнения по курсу Machine Learning, только теорию читала. А ведь все алгоритмы можно было бы прекрасно преподавать, используя R.

Кстати оригинальный курс, из которого делали курс для курсеры был как раз на матлабе.

[Tarasik]

А в чем сложность в Octave делать?

Видимо, в том, что он под Линукс, и не всем охота этих танцев с бубном с непривычки.

Именно. Потому я и не делала упражнения по курсу Machine Learning, только теорию читала. А ведь все алгоритмы можно было бы прекрасно преподавать, используя R.

Кстати оригинальный курс, из которого делали курс для курсеры был как раз на матлабе.

Не пугайте людей! Во первых Octave уже есть под Мак и Винду, а во вторых в курсе который начался Oct 14thDec, можно выбирать что хочется - Матлаб или Октаву.

[Stanford Wannabe]

Не пугайте людей! Во первых Octave уже есть под Мак и Винду,

Не хотел пугать, но на ихнем сайте написано, что в Винде надо через какую то хрень типа виртуальной машины запускать.

[hrum]

BI есть Business Intelligence, обычно понимается написание отчётов или предоставление продвинутым аналитикам доступа к данным с помощью создания OLAP solutions (e.g., SSAS cubes). Data Mining есть подраздел Business Intelligence который позволяет с помощью различных методов статистического анализа находить закономерности в бизнес данных которые используются как для reactive так и proactive действий. Боссу, которого 1 шт., рекомендуется найти контрактора или компанию которая специализируются в BI или data mining (это разные вещи).

[ie]

BI есть Business Intelligence, обычно понимается написание отчётов или предоставление продвинутым аналитикам доступа к данным с помощью создания OLAP solutions (e.g., SSAS cubes). Data Mining есть подраздел Business Intelligence который позволяет с помощью различных методов статистического анализа находить закономерности в бизнес данных которые используются как для reactive так и proactive действий. Боссу, которого 1 шт., рекомендуется найти контрактора или компанию которая специализируются в BI или data mining (это разные вещи).

да, я тоже думаю на счет котрактора. как это растолковать грамотно.
народ тут не сильно умудренный, и похоже ведутся на базз вордс, к сожалению.
я думаю больше о практикал стороне дела. что конкретно это даст? какие бенефиты?
вот допустим придет контрактор спец по BI, его просто пустить в чисто поле (баззу данных)
и пусть себе посется? надо ведь ему какие то ориетиры дать.
типа наковыряй нам самородков да побольше, побольше....

это я типа мыслю в слух.

[Flash-04]

А в чем сложность в Octave делать?

для меня в том что я первый раз о таком услышал придётся читать на старости лет... эх

[Flash-04]

вот допустим придет контрактор спец по BI, его просто пустить в чисто поле (баззу данных)
и пусть себе посется? надо ведь ему какие то ориетиры дать.
типа наковыряй нам самородков да побольше, побольше....

это я типа мыслю в слух.

ну дык какие-то бизнес-мысли должны быть у вашего руководства. типа "вот было бы неплохо знать сколько людей спит на правом боку, а сколько на левом. выпустим правые и левые подушки"

[KotKot]

На той же курсере есть более сжатый курс https://class.coursera.org/datasci-001/class - там не только об машинном обучении но и другие технологии затронуты, правда его сейчас не читают но можно найти архивы и порешать задачки.

Спасибо, как раз искал подобный курс.

[Flash-04]

+1 спасибо
как раз себе в плане написал развивать навыки по "Big Data"

[ie]

вот допустим придет контрактор спец по BI, его просто пустить в чисто поле (баззу данных)
и пусть себе посется? надо ведь ему какие то ориетиры дать.
типа наковыряй нам самородков да побольше, побольше....

это я типа мыслю в слух.

ну дык какие-то бизнес-мысли должны быть у вашего руководства. типа "вот было бы неплохо знать сколько людей спит на правом боку, а сколько на левом. выпустим правые и левые подушки"

да, конешно, в том или другом виде все это есть. это все развивается, но для этого нужно только время.
каких то дополнительных аналитикал скилз тут особо не нужно (я могу ошибаться)
дело в том что в воздухе витает такая идея что придет бизнес аналист и займется бизнесс интележенс
и построит нам дата вархауз и.... и тагда будет все кошерно и правильно.
вот это я хочу понять. что КОНКРЕТНО будет по другому?
то есть какие материал дифференсес мы поимеем.

может я копаю слишком глубоко.
но я чуствую что мне надо быть вкурсе событий.
иначе они меня маржиналайз.

[flip_flop]

А в чем сложность в Octave делать?

для меня в том что я первый раз о таком услышал придётся читать на старости лет... эх

Да ну, делов то, какие наши годы. Проблема в том, что Октав в виндоузе идет через терминал, не надо никакой ВМ, но нет хорошего Гуя, графика есть а Гуя нет, в отличии от Матлаба, СайЛаба, СайПайя. Но для изучения темы, это всё равно что судить о качестве книги по качеству бумаги. В самой хорошей (по старой памяти) книге по МЛ (от Митчелла) я вообще программ не помню. А концепции помню. На другой стороне спектра - куча поваренных книг с кучей программ на любых языках но с весьма слабым содержанием и профанацией теории.

[Kateryna]

вот допустим придет контрактор спец по BI, его просто пустить в чисто поле (баззу данных)
и пусть себе посется? надо ведь ему какие то ориетиры дать.
типа наковыряй нам самородков да побольше, побольше....

это я типа мыслю в слух.

ну дык какие-то бизнес-мысли должны быть у вашего руководства. типа "вот было бы неплохо знать сколько людей спит на правом боку, а сколько на левом. выпустим правые и левые подушки"

да, конешно, в том или другом виде все это есть. это все развивается, но для этого нужно только время.
каких то дополнительных аналитикал скилз тут особо не нужно (я могу ошибаться)
дело в том что в воздухе витает такая идея что придет бизнес аналист и займется бизнесс интележенс
и построит нам дата вархауз и.... и тагда будет все кошерно и правильно.
вот это я хочу понять. что КОНКРЕТНО будет по другому?
то есть какие материал дифференсес мы поимеем.

может я копаю слишком глубоко.
но я чуствую что мне надо быть вкурсе событий.
иначе они меня маржиналайз.

теоретически, если будет построен дата варехауз и использоваться какой-то тулз для отчетов, то специальный человек для SQL и Excel репортов не нужен постоянно.

-наиболее часто используемые отчеты будут уже созданы, заскедулены и каждый час/утро/неделю ваш босс будет видеть красиво отформатированный отчет на странице компании в интранете (SharePoint, etc) или email или Excel если большой любитель
-для каких-либо регулярных митингов все будут использовать один стандартный отчет с текущим состоянием дел итд
-если кому-то понадобиться что-то кастомизировать, то без помощи SQL он/она смогут построить свой новый красивый отчет и размахивать им на митинге
-если вы используете несколько разных систем ERP, CRM итд, данные из них будут сведены вместе в одном дата варехаузе и отчете
т.е. в одном отчете сможете посмотреть сколько и каких рекламных компаний было организовано и какой объем продаж или сколько новых кастомеров набежало после этого


Вам еще нужно решить какой тулз использовать для репортов и загрузки данных. А там такое разнообразие сейчас... от монстров дорогущих типа Майкрософт и Оракла до чего-то опен соурсного или вообщего облачного. В последнем случае и устанавливать ничего физически на сайте не надо. Бери и пользуйся (и плюйся на качество)

Кстати, если используете не самодельные системы а какие-то стандартные типа SAP, SalesForce итд, то во многих тулзах есть готовый шаблоны дата варехаузов и репортов. Наполняются вашими данными и все готово для использования. Хорошо работает если ваша исходная система не очень кастомизирована.

[mynameiszb]

теоретически, если будет построен дата варехауз и использоваться какой-то тулз для отчетов, то специальный человек для SQL и Excel репортов не нужен постоянно.

А можно тут поподробнее, а то вы как-то "опустили" один из важных пунктов.
Кто построит это хранилище? На каких принципах и кто будет сопровождать-развивать? Консалтеры со стороны?

[hrum]

BI есть Business Intelligence, обычно понимается написание отчётов или предоставление продвинутым аналитикам доступа к данным с помощью создания OLAP solutions (e.g., SSAS cubes). Data Mining есть подраздел Business Intelligence который позволяет с помощью различных методов статистического анализа находить закономерности в бизнес данных которые используются как для reactive так и proactive действий. Боссу, которого 1 шт., рекомендуется найти контрактора или компанию которая специализируются в BI или data mining (это разные вещи).

да, я тоже думаю на счет котрактора. как это растолковать грамотно.
народ тут не сильно умудренный, и похоже ведутся на базз вордс, к сожалению.
я думаю больше о практикал стороне дела. что конкретно это даст? какие бенефиты?
вот допустим придет контрактор спец по BI, его просто пустить в чисто поле (баззу данных)
и пусть себе посется? надо ведь ему какие то ориетиры дать.
типа наковыряй нам самородков да побольше, побольше....

это я типа мыслю в слух.

Сначала придут бизнес аналитики, которые поговорят с пользователями и те объяснят что им нужно. Потом придёт архитектор и сархитектит приложение. Потом привезут девелоперов и они наваяют вам дата мартов или дата варехаузов, а потом поверх них всяких отчётов или приборных досок каких (dashboards).

По поводу бенефитов то от data warehousing/business intelligence их по крайней мере два. Во-первых, можно гонять отчёты against data warehouse во время работы бизнес-систем не опасаясь что они замедлят их работу. Во-вторых можно сделать отчёты на основе данных собранных из нескольких систем. По крайней мере так говорит теория.

[mynameiszb]

Дайте паре продвинутых пользователей доступ к данным, и всё. Они будет рисовать отчёты just-in-time.

Для этих продвинутых пользователей желательно сделать некий промежуточный сервер с выжимкой по данным. Потому что пустить их на обычный - они своими продвинутыми отчетами его положат просто на раз-два. Наступали на это...

[hrum]

поговорят с пользователями и те объяснят что им нужно

а поскольку пользователи сами не знают, что им нужно сейчас, не говоря уже о том, что они не могут предусмотреть, что им понадобится в будущем, BI tools всегда опаздывают, дорого и т.п.

Дайте паре продвинутых пользователей доступ к данным, и всё. Они будет рисовать отчёты just-in-time.

Бизнес пользователи всегда лучше нас знают чего им надо. Если я приду в компанию и буду учить CFO какие отчёты ему нужны я там долго не продержусь.

В последнее время я смотрю концепция Enterprise Data Warehouse (когда строится Data Warehouse со всей информацией из всех систем компании) отошла в прошлое. Сейчас часто хотят Data Marts (то есть данные по одной subject area, например продажи, операции, финансы, и пр). Они всё равно требуют каких-то ETL (Extract/Transform/Load) и схем данных, но могут быть построены довольно быстро. А потом уже на основе этих Data Marts можно делать отчёты или dashboards, либо девелоперами либо advanced business users.

Есть ещё интересные системы такие как QlikView который одновременно система отчётов и построения Data Marts (включая ETLs). Не думаю что конечные пользователи смогут с ней справиться, но девелоперы могут собрать системы в разы быстрее чем с использованием других систем, не говоря уж о сборке "руками" (SSIS/SQL/etc).

[Kateryna]

теоретически, если будет построен дата варехауз и использоваться какой-то тулз для отчетов, то специальный человек для SQL и Excel репортов не нужен постоянно.

А можно тут поподробнее, а то вы как-то "опустили" один из важных пунктов.
Кто построит это хранилище? На каких принципах и кто будет сопровождать-развивать? Консалтеры со стороны?

Я не уточнила, что имела ввиду небольшие компании, с устоявщимся бизнес-процесом, с одним, максимум 2 источником данных, без крейзи кастомизации стандартных приложений типа SalesForce etc.

Там и делов-то на пару недель и сопровождать-развивать нечего. Ну может раз в год новый отчет добавить.

Такое вполне имеет место быть. Из моего опыта такие проекты очень неприятные для консалтеров, так денег мало, часов мало отводиться и все строго контролируется. Из-за лишнего часа работы скандалы возникают, так как бюджетом не запланировано и денег нет, значит нет.

А для больших и средних компаний конечно своего человека на борту надо держать.

[mynameiszb]

Я не уточнила, что имела ввиду небольшие компании, с устоявщимся бизнес-процесом, с одним, максимум 2 источником данных, без крейзи кастомизации стандартных приложений типа SalesForce etc.

Там и делов-то на пару недель и сопровождать-развивать нечего. Ну может раз в год новый отчет добавить.

Я как раз на таких "маленьких" проектах и подрывался пару раз. Оба раза был в штате - начинали "по чуть-чуть". Тут допилить, там добавить. Хранилище простенькое сделать. Но аппетит приходит во время еды. Не успеет год закончится, а уже и хранилище выросло, и таблиц там - как тараканов, а еще отчеты на него привинтили, о которых не думал и не договаривались заранее.

Последнее, что было - народ радостно запрыгал и стал лить по террабайту в месяц данных. Причем эту первичку никто агрегировать не давал и требовал, чтобы оно все летало...

[Kateryna]

поговорят с пользователями и те объяснят что им нужно

а поскольку пользователи сами не знают, что им нужно сейчас, не говоря уже о том, что они не могут предусмотреть, что им понадобится в будущем, BI tools всегда опаздывают, дорого и т.п.

Дайте паре продвинутых пользователей доступ к данным, и всё. Они будет рисовать отчёты just-in-time.

Бизнес пользователи всегда лучше нас знают чего им надо. Если я приду в компанию и буду учить CFO какие отчёты ему нужны я там долго не продержусь.

В последнее время я смотрю концепция Enterprise Data Warehouse (когда строится Data Warehouse со всей информацией из всех систем компании) отошла в прошлое. Сейчас часто хотят Data Marts (то есть данные по одной subject area, например продажи, операции, финансы, и пр). Они всё равно требуют каких-то ETL (Extract/Transform/Load) и схем данных, но могут быть построены довольно быстро. А потом уже на основе этих Data Marts можно делать отчёты или dashboards, либо девелоперами либо advanced business users.

Есть ещё интересные системы такие как QlikView который одновременно система отчётов и построения Data Marts (включая ETLs). Не думаю что конечные пользователи смогут с ней справиться, но девелоперы могут собрать системы в разы быстрее чем с использованием других систем, не говоря уж о сборке "руками" (SSIS/SQL/etc).

Я тоже заметила такую тенденцию.
Облачное BI с которым я имела несчастье работать именно так и рекламируется. Для бизнесс юзеров, не нужна поддержка IT , так как все в облаке, тулз включает в себя все - и системы отчетов и построение стар схемы и ETL и коннекторы к транзакционным системам облачным. Прежде всего SalesForce.
Кроме того там уже есть готовые шаблоны дата мартов. Указывай свой логин к SalesForce, активируй выкачку и процессинг данных и можно работать с отчетами. Естественно, все хорошо, если исходная система не слишком кастомизирована и бизнесс-процессы нормальные.

К сожалению, бизнесс пользователи очень редко знают что им надо, а тем более, практически никто не в состоянии описать это. Людей с аналитическим складом ума даже в ИТ очень мало, не говоря уж о простом народе в поле. Большинству надо одна большая кнопка, которую нажимаешь (а лучше даже чтоб это происходило автоматически) и появлялся один отчет с одной цифрой, желательно положительной для твоего отдела/департамента. Где-то 2-3 нормальных на 20 человек балласта привыкших работать с чем-то, что было создано до них и объяснить значения данных они не могут, не говоря уже о том, откуда их взять. И эти 2-3 разбирающихся в данных и бизнесс процессе, либо уже покинули компанию, либо постоянно заняты чем-то другим.