Junior Quality/Data Analyst

[jewell]

Приняла решение изменить карьеру и пойти в IT. Имеется лингвистическое образование. Правильно ли я понимаю, что за полгода - год учебы можно научиться достаточному количеству навыков, чтобы работать с SQL и т.п. Т.е. чтобы взяли на работу, и там уже по ходу дела можно дальше развиваться.

[Easbayguy]

Все правильно.

[valterg]

боже мой, как? Вот уже более пол-года активно ищу работу. Рассылаю резюме. А до сих пор ни ответа ни привета. Кому сказать что готов на минималку ради опыта работать, но ведь даже не спрашивают.

[B@sil]

боже мой, как? Вот уже более пол-года активно ищу работу. Рассылаю резюме. А до сих пор ни ответа ни привета. Кому сказать что готов на минималку ради опыта работать, но ведь даже не спрашивают.

Похожий опыт у моей знакомой.
Абсолютно непробиваемо

[FreemanUSA]

Фигня это всё, даже при наличии, что текуший студент в местном колледже с 4.00 GPA in C.S or similar.

[fruit6]

How similar, bachelor of arts?

[FreemanUSA]

How similar, bachelor of arts?

No, why do you think so? It is highest level. I meant Mobile Development, little lower than the bachelor of art.

[NtNet]

То Автор:
А у меня пока вроде получается...
Я ушла из админ ассистантов, и немножко техническои работы (не ИТ) - в ИТ.
2 года помучалась на контрактах и всяких других временных около-Итшных позициях; зарплата была сначала 47-50К только ;
а работы - как будто платят 100К+.
Теперь- в силиконовке дата аналитиком, за очень неплохой рейт для такой позиции..
Правда, компания постепенно умирает, но я чувствую себя оч уверенно; найду надеюсь быстро новую работу.

А как вы ищете?

Я рассылала по 8-10 резюме в день, в краигслисте; ЛинкдИн и индеед.
Это процесс- как фул-тайм работа.... У меня обычно занимает 2.5-3 мес найти работу; или если работаю и параллельно ищу (не торопясь)-то 8-12 мес.

[Физик-Лирик]

У меня общий вопрос. А чем занимаются аналитики данных? Сейчас это так популярно, а само название должности наряду с другим названием "ученых по данным" подразумевает такую широкую трактовку.

[Ofreema]

О, я тут рядышком присяду, послушаю.
Я типа дата саентист, но совсем чуть-чуть занимаюсь offline обработкой данных и визуализацией, а так в основном real-time analytics, predictions.

[Физик-Лирик]

О, я тут рядышком присяду, послушаю.
Я типа дата саентист, но совсем чуть-чуть занимаюсь offline обработкой данных и визуализацией, а так в основном real-time analytics, predictions.

В том вся и фишка. Находишь позицию дейта сайнтиста, почитаешь описание. А там, все что угодно. Одни работы - чисто ETL, в других - машинное обучение и модели, в третьих - работа с "таблицами". Прибавим к этому дейта инженеров, статистиков, аналитиков данных, экспертов по машинному обучению, "научных" программеров, архитекторов по решениям, архитекторов по данным - все, винегрет готов.

[Физик-Лирик]

О, я тут рядышком присяду, послушаю.
Я типа дата саентист, но совсем чуть-чуть занимаюсь offline обработкой данных и визуализацией, а так в основном real-time analytics, predictions.

А чем Вы занимаетесь? Я имею в виду предметную область, методики, задачи, алгоритмы. Режим реального времени ... случайно не с временными рядами работаете? Постоянно в поиске текущих областей приложения. Может книжку какую возьму почитать А то, все что было интересного, перечитал, и вот на мели сижу. Приходится спортом по 2 часа в день заниматься.

[Ofreema]

Да, работаем в временными рядами. Конкретно, мы занимаемся mobility, одна из наших платформ - текущее состояние трафика на дорогах Нидерландов. В это так же входит предсказание загруженности дорог на неделю вперед. Другое решение - SmartRouting - умный навигатор (мы обрабатываем все данные касательно нагруженности дорог, историю) и есть предсказатели трафика на разные сроки. Такой себе псевдо ML.

В плане алгоритмов мы сотрудничаем с одним институтом прикладных исследований и допиливаем то, что они наваяли. Ну, а некоторые вещи пилим самостоятельно (компания старт ап в европейском смысле, всего 10 чел, из которых 5 прогеров).
Ну, а методы я знаю из теорфиза ))) Как показала практика, гидродинамика очень похожа на эволюцию трафика. Ну, т.е. все с точностью да наоборот.

[NtNet]

Мы занимаемся сбором и обработкой данных- контактов, для рассылки их нашим продажникам.
Те общаются с контактами и продвигают-продают конторские продукты.
Импорт-экспорт данных; нормализация, чистка, нахождение (или исключение) копий; синхронизация, написание правил, редактирование потоков данных для маркетинговых тулсов. Данные для сеилсов и маркетологов.
Все - в аксесе-sql. crm -была people soft, сеичас salesforce.

Именно эта работа- немного скучная, легкая. До этого, 2 года назад было гораздо сложнее работа, вплоть до "переделки" и разработки существующих баз данных. Но тут я довольна оплатой; а тк контора умирает, скоро закроется, то буду конечно очень скоро
искать новую работу. Мечтаю работать с данными, но не в ИТ индустрии; для этого сеичас, пока есть время буду сначала учиться,...

Сложилось впечатление, что в ИТ (может всякие гиганты типа амазон и т д -исключение) - а так, в обычных, не особенно известных конторах
продукты "клепают" лишь бы быстрее "пропихнуть" их на рынок, богатому идиоту-клиенту.
Никто не заинтересован ни в качестве самих продуктов, ни в данных - контактах, так, лишь бы быстрее и побольше кто-то заплатил или что-бы
биг босс вложил лишние средства и побольше; куда все поидет дальше - никого не волнует.

Может это только единичныи такои опыт, с конкретнои конторои....
Но неск лет назад был опыт работы в небольшои компании, там было все совсем не так.

***

Дата Саентисты, те я думаю, со статисчич - и мат- методами работают, немного другое; и мне кажется сложнее чем дата аналитик или дата-автоматизация.

[Физик-Лирик]

Да, работаем в временными рядами. Конкретно, мы занимаемся mobility, одна из наших платформ - текущее состояние трафика на дорогах Нидерландов. В это так же входит предсказание загруженности дорог на неделю вперед. Другое решение - SmartRouting - умный навигатор (мы обрабатываем все данные касательно нагруженности дорог, историю) и есть предсказатели трафика на разные сроки. Такой себе псевдо ML.

В плане алгоритмов мы сотрудничаем с одним институтом прикладных исследований и допиливаем то, что они наваяли. Ну, а некоторые вещи пилим самостоятельно (компания старт ап в европейском смысле, всего 10 чел, из которых 5 прогеров).
Ну, а методы я знаю из теорфиза ))) Как показала практика, гидродинамика очень похожа на эволюцию трафика. Ну, т.е. все с точностью да наоборот.

Спасибо, интересно. А какие методы теор. физики используются в обучении? С гидродинамикой согласен. Но скорее это все-таки сжимаемая среда, т.е. уравнения сжимаемой жидкости. У меня знакомый похожими вещами занимался (правда давно это было). Что еще? Стохастическое моделирование или Вы диффуры решаете? Решаете как одномерную задачу (типа кишки с разветвлениями) или как многомерную? Или в виде Марковских цепочек? А какие еще методы физики? Разложения по базисным функциям или типа Фурье-преобразования? Какие-нибудь книжки есть?

Если все вышеописанное, то это уже не дейта сайнс. Скорее мат. моделирование. А то мы тут народ запугаем. В анализе данных все гораздо проще (и скучнее соответственно).

Приняла решение изменить карьеру и пойти в IT. Имеется лингвистическое образование. Правильно ли я понимаю, что за полгода - год учебы можно научиться достаточному количеству навыков, чтобы работать с SQL и т.п. Т.е. чтобы взяли на работу, и там уже по ходу дела можно дальше развиваться.

Если лингвист, то можно в распознование речи. Но там достаточно много математики и программирования. По крайней мере, если серьезно заниматься (у меня нам тоже знакомые работают).

[NtNet]

Если все вышеописанное, то это уже не дейта сайнс. Скорее мат. моделирование. А то мы тут народ запугаем. В анализе данных все гораздо проще (и скучнее соответственно).

.

Вот-вот!
Одни select- join, vlookup, append & update & such sql оператори
Nа interview одно и тоже спрашиват.

[Физик-Лирик]

Вот-вот!
Одни select- join, vlookup, append & update & such sql оператори
Nа interview одно и тоже спрашиват.

Как я и предполагал. Названия позиций (почти) одинаковые, а работы совершенно разные. Так же интересно узнать мнение "народа", заглянув в Интернет. Там даются "определения" дейта сайнса. Еще прикольнее говорить на эту тему с рекрутерами.
Интервью будет зависит от позиции. Если моделирование, то будут про модели говорить, если "квирез" гонять, то и вопросы соответствующие. Меня больше забавят конторы, которые хотят тебя протестировать в живую. Типа теле-соединяешься с ними, а потом 1.5 часа тесты пишешь. В общем каждый страдает по своему. Причем для некоторых тестов предлагают еще и свою софтину грузить. Такие, конечно, сразу посылаются к терапевту. Причем, если бы космические зарплаты предлагали бы, а то так, ничего особенного.

[Физик-Лирик]

Я прогнозирую energy, в основном потребление и цены и load. Читаю статьи и пишу модели. Основная проблема у нас с качеством данных, так что я, наверное, data scientist

А вообще, у нас много физиков-PhD. Занимаются неинтересной фигней (за хорошие деньги), и мне их часто жалко.

Выбор между деньгами и интересом всегда сложный. Даже для физиков.
А какие проблемы с качеством данных?
Вы упоминули книги. Что читаем, а то я на мели. На R обычном работаете или встали на дистрибутивные технологии? Мы с Вами где полгода назад схожие темы обсуждали. Что-нибудь интересненькое появилось?

[Физик-Лирик]

Пока работаю на R, думаю про дистрибутивные технологии. У нас совсем нет экспертов, т.е вообще. 1 сервер на все, IT не имеет понятия ни о чём. Клиентские данные вообще third-party vendor. Отсюда проблемы с качеством данных.

Сейчас пытаюсь понять, за что хвататься. Изучаю Spark с питоном и хочу научиться работать с кластерами. Поскольку надо начинать master thesis, который будет о применении новых стат.методов к high-dimensional data. Я пока hit the wall. Говорят, edx хорошие 2 курса выпустили о Spark and scalable machine learning, но я еще не смотрела. Посмотрите, может вам будет интересно. Spark в операционной памяти процессии алгоритмы, Это очень многообещающе.

Что читать пока не могу подсказать, ибо сама читаю papers на тему energy load forecasting, а там методы не новые.

Я предпочитаю Спарк со Скалой. Приятный язык. Питон тоже хорош, но для анализа нужны библиотеки, а как то к R настолько привык, что некие отличия от R начинают тоску наводить. К тому же созданная библиотека машинных методов на мой субъективный взгляд со Скалой очень хорошо работает. Если Вы работали с ОО языками (а Вы работали), все пойдет как по маслу. Там в принципе несложно. Купите пару книг. Сами все выучите.
Какие новые стат. методы для больших размерностей? Там просто неэвклидовскую метрику надо применять (типа махаланобиса) или с проекциями работать или понижать размерность, работая с принципиальными компонентами. Есть интересная литература по этим направлениям. Правда, дороговата. Пусть Вам контора оплатит.
А Вы с последним писком моды под названием "Глубокое обучение" уже тусовались? Прикольная штучка. Скоро книга должна выйти.

[Физик-Лирик]

Забыл спросить. Вы энергию временными рядами считаете или машинными моделями?

[_reality]

Spark с R работает но очень плохонько, и вообще сейчас Spark на порядки хуже того же R в выборе либ для статистики/machine-learning.

[Ofreema]

Спасибо, интересно. А какие методы теор. физики используются в обучении? С гидродинамикой согласен. Но скорее это все-таки сжимаемая среда, т.е. уравнения сжимаемой жидкости. У меня знакомый похожими вещами занимался (правда давно это было). Что еще? Стохастическое моделирование или Вы диффуры решаете? Решаете как одномерную задачу (типа кишки с разветвлениями) или как многомерную? Или в виде Марковских цепочек? А какие еще методы физики? Разложения по базисным функциям или типа Фурье-преобразования? Какие-нибудь книжки есть?

Если все вышеописанное, то это уже не дейта сайнс. Скорее мат. моделирование. А то мы тут народ запугаем. В анализе данных все гораздо проще (и скучнее соответственно).

Хаха, был один проект на "гидродинамику", но я в нем не участвовал, а ребята, которые учавствовали, им не интересно учится и копаться, поэтому толком ничего не знаю. Проект - сглаживание трафика для предотвращения фантомных пробок - банальное биение.

Еще для гомогенизации используем всякие фильтры на основе Фурье преобразований, но пока это все.
У компании не так много денег для ресерча и написания штук, которые потом никто не купит. Один уже такой висяк в этом году получился

А я хочу Марковские цепи!!! И вообще, я хочу заниматься предсказаниями! у нас по идеи может появится проект, где я дам волю своим чувствам!

[Физик-Лирик]

Spark с R работает но очень плохонько, и вообще сейчас Spark на порядки хуже того же R в выборе либ для статистики/machine-learning.

Да, я с ним уже работал. Тут пару дней назад была новая презентация. К сожалению не смог поучаствовать.
Очень жду там прорыва, т.к. Спарк мне нравится.

[
Так вроде Spark уже с R работает, или там всё равно скала нужна?

Нет, не нужна. Как уже упоминали выше, пока еще не была достигнута функциональность. Нужно будет посмотреть на презентацию, что в Среду была. Думаю, будут интересные моменты.

Обоими. Если данные хорошие, то временные ряды хорошо работают; но часто данные плохие, а именно, last n values either not available or estimates only, и тогда временные ряды работают хуже. Вот сейчас random forest гоняю, уже памяти в R не хватает (но это не R виноват, конечно, у меня комп 32х битный на работе

Понятное дело, надо на дистрибутивные технологии переходить. Работать с "водой" не пробовали? У меня очень хорошие впечатления. Там и рендом форест и дип лернинг. С памятью проблем тоже не будет.

Как методы временных рядов используете? ETS, ARIMA или что-нибудь более экзотичное? Рандом форест для регрессии?

[Физик-Лирик]

Хаха, был один проект на "гидродинамику", но я в нем не участвовал, а ребята, которые учавствовали, им не интересно учится и копаться, поэтому толком ничего не знаю. Проект - сглаживание трафика для предотвращения фантомных пробок - банальное биение.

Еще для гомогенизации используем всякие фильтры на основе Фурье преобразований, но пока это все.
У компании не так много денег для ресерча и написания штук, которые потом никто не купит. Один уже такой висяк в этом году получился

А я хочу Марковские цепи!!! И вообще, я хочу заниматься предсказаниями! у нас по идеи может появится проект, где я дам волю своим чувствам!

Интересная у Вас контора. Случайно не нанимаете или консалтеров не берете? Я бы с гидродинамикой покопался бы. В лучшие годы этим много занимался. А фильтры как используете? Хочу понять связь с трафиком.

[Ofreema]

Ну, работа в Голландии, пока особо никого не нанимают. А в дата консультанта я переквалифицируюсь с осени, т.к. вчера получили зеленый свет на проект, и буду я на все руки мастер ))))

По поводу фильтров, как пример погуглите: "Adaptive Smoothing Method Used in Highway Traffic State".
Там фишка в том, что мы получаем достаточно неоднородные данные, которые нужно сгладить.

Я бы и сам с удовольствием покопался в этих вещах, но к сожалению, не всегда есть на это бюджет, и еще очень часто приходится исравлять чей-то говнокод, но это отдельная история ))