10 hot Hadoop start ups

[Физик-Лирик]

Я не пройду HR: у нас требуется PhD для разработки моделей / научной работы.

Значит надо идти дальше учиться.

У нас всё с доказательствами. Наша программа - подготовка к PhD в математике, считается лучшей в Австралии. Соответственно, доказательства выносятся на экзамен, и экзамен 80% оценки. Я устала учиться в таком режиме. По всем домашкам у меня всегда 90%, а экзамены я проваливаю. В результате на выходе 65% еле-еле.

Вот это я понимаю. Все как у нас было раньше. А экзамены устные и письменные или только письменные?

Да, умище (знания) остаются, конечно же. Но на интервью про них не спросят, а спросят "вы имеете опыт применения logistics regression к big data, дайте пример проэкта и обьясните пошагово"?

Сказать по правде я бы не стал применять логическую регресиию для классификации. Всегда проблемы с выборкой лучшей модели, коррелированными переменными, взаимодействиями. Предпочитаю "лесные" модели. А вот в эпедемиологии - это один из основных методов. Но так несколько иные задачи. Но я Вас понял. В принципе, я люблю интервью, когда говорят о задачах и проектах.

[Сабина]

На самом деле теория вероятности может быть более интересной. Машинное обучение можно и самому освоить. Я бы обратил внимание на софты, которые в универах бесплатные для студентов, а не для студентов $$$.

Они и сами пишут
http://www.cs.cornell.edu/~yinlou/proje ... index.html

[Физик-Лирик]

Только письменно, конечно.

Не понимаю, почему так не любят устных экзаменов? Здесь тоже одни письменные. Ну не правильно это. Я понимаю, устный экзамен имеет элемент субьективизма. Задачиа хороши для письменного. Но как теорию проверить? Ведь можно, ничего не понимая, зазубрить доказательство теоремы и письменно воспроизвести.

[Roy]

Я посмотрела syllabus for MS Statistics from UW, и с моей точки зрения - это отличный курс. Теории немного, только 2 обязательных предмета: Statistical Inference, и поверьте, эта теория несложная для человека с высшим мат.образованием. В моём университете это уровень последнего года бакалавра. Там можно без Real Analysis обойтись, несколько концепций посмотреть по ходу дела. Все остальные предметы практические, и очень полезные + широкий выбор electives, в котором есть и machine learning, и graph theory, особенно хорош Statistical Learning STAT535. То, что действительно сложно (Advanced Probability), у вас идёт как electives, ну так не берите их!

У нас такого счастья нет. У меня выбор или между елементарной прикладной статистикой с устаревшими методами, или сплошной Advanced Probability, и никаких тебе statistical/machine learning - ишь, баловство одно!

Программа отличная - я не спорю. Я пытался брать, начал со Statistical Inference. Понял, что только мат. образования мне не хватит. Нужно иметь хороший бэкграунд в базовой статистике. Тер. вер. идёт нормально, но как только начинается статистика, то чувствуется недостаток опыта. Надо взять несколько прикладных стат. курсов, поработать с R, набить руку. Может это только мне так, плюс чем старше - тем сложнее учиться.

Я говорил с PhD студентами. Они утверждали, что надо 4 часа в день на один Statistical Inference курс как минимум. Т.е. мне с работой и семьёй нереально.

[Roy]

Просветите по поводу графических моделей? Может оно и мне надо.

http://en.wikipedia.org/wiki/Graphical_models

Модель представляется в виде графа, где каждая вершина - random variable. Если две вершины соединены, то между ними существет зависимость. Таким образом можно добавлять знания о зависимостях в модель. А можно и наоборот - выявлять зависимости на основе данных.
Ну это моё дилетантское обьяснение

Насколько я понимаю, эта теория обобщает многие известные модели и предоставляет общий подход и framework. Частными случаями являются Bayesian network, Hidden Markov Model, Conditional Random Fields, Naive Bayes.

Вот эту книгу все рекомендуют:
http://www.amazon.com/Probabilistic-Gra ... cal+models

Еще раз подчеркну. Для "обыкновенного" аналиста особо теорий не нужно. В основном - это умения пользоваться пакетами, понимая при этом, что эти методы делают. Теория больше понадобиться, если более в "научной" области и/или работаешь над моделями.

Чтобы до конца понимать, что эти пакеты делают - надо знать теорию, кмк. А то чувствуешь себя как в темноте, действуешь часто наугад. Я тут насмотрелся на случаи, когда тупо использует деревья или SVM независимо от задачи. Никто даже не заумывается, что модель может быть не нормальной. Анализ данных на bias не делается. Вобщем всё на коленке. Я не очень понимаю как без реальной теории и практики в базовой статистике это всё можно понять и "прочувствовать".

Кстати, насколько знание и опыт в традиционных статистичеких методах важны для Machine Learning? Я имею в виду confidence intervals tests, ANOVA, factor analysis и т.д.

[Физик-Лирик]

Чтобы до конца понимать, что эти пакеты делают - надо знать теорию, кмк. А то чувствуешь себя как в темноте, действуешь часто наугад. Я тут насмотрелся на случаи, когда тупо использует деревья или SVM независимо от задачи. Никто даже не заумывается, что модель может быть не нормальной. Анализ данных на bias не делается. Вобщем всё на коленке. Я не очень понимаю как без реальной теории и практики в базовой статистике это всё можно понять и "прочувствовать".

Безусловно, если работать с методами надо знать теорию. Это так же поможет в выборе методов, понимании условий их применимости и т.п. Момент состоит в том, что при реальной работе (скажем аналитиком) Вы будете использовать конкретные кем-то написанные пакеты, т.е. Вы уже будете полагаться на их правильность (или надо все самому писать). В этом смысле пакеты как черные ящики. С данного момента вся теория заканчивается. К сожалению, в машинном обучении (если это не рассматривать как академическую науку) очень много искусства. Как выбирать данные, надо ли их преобразовывать, нормализовать, нaдо ли устранять оутлайеры, надо ли делить на группы или же ввести новую переменную, описывающую группы? Все эти вопросы скорее искусство чем наука. Далее, как многое в прикладной математике методы построены на предположениях. Обыchно - это преdположение нормального распределения. Насколько оно верно на практике? Достаточно редко. Однако многие методы нормално работают даже если предположения не верны. Все, теория кончилась. В этом смысле Вы правы, у аналитиков цениться "почувствовать".

[Физик-Лирик]

Кстати, насколько знание и опыт в традиционных статистичеких методах важны для Machine Learning? Я имею в виду confidence intervals tests, ANOVA, factor analysis и т.д.

Формально можно выучить машинное обучение без особого знания статистики. Опять-таки, рассматривая методы как черные ящики. Я считаю, что лучше освоить статистику. Ведь, например, даже свoйства рeгрессии (типа минимальная вариация коеффициентов) - все-таки следствие статистики. В эпидемиологии (и не только) статистика и машинные метдоды идут рука об руку - там и p-value, confidence intervals, и ANOVA, и survival analysis. Я бы рекомeндовал все-таки освоить статитику (типа биостатистики, это несложно).
Опыть-таки это помогает диффундировать из одной области в другую, помогает в создании и оценке моделей. В финансах и эпидемиологии сейчас статистика, машинное обучение и мат. моделирование (типа диффуров и Монте-Карло) настолько переплились, что широкий базис будет очень наруку. Да и интересно это все.

Я не знаю, будете ли Вы учиться в универе, но биостатистику и машинное обучение можно освоить самому. Т,к, у Вас хорошее базовое образование у Вас не будет особых проблем. Время, правда, займет много.

[Сабина]

Возврашаясь к исходной теме...
FICO купила hadoop company для анализа консьюмерских данных, замечаю что чуть ли не каждый день то одна то другая небезизвестная компания запускает лапу в эту сферу.

http://www.americanbanker.com/issues/17 ... 158-1.html

Несмотря на то что hadoop уже давно имеет место быть, видимо только сейчас он, а точнее Big Data в целом окончаетльно начал набирать обороты.
Правда с работами все пказалось пока просто - большинство сконцентрировано в Bay Area

http://www.informationweek.com/strategi ... id/1141620

PS. Вот кстати пришло сегодня

You may have seen an email from me about this client a couple of months ago. We have been succesful in filling a number of openings, but the client is still expanding. So we’re continuing to the search to fill multiple software development positions for our client, a big data software startup created by one of Silicon Valley’s top founders and billionaires. The company is building a platform that can process massive amounts of data and apply cutting-edge analytics to uncover patterns and actionable intelligence beneficial to the average home owner. The company has $30M in committed venture capital and is using it to rapidly expand its engineering team. This a chance to join a well funded and rapidly growing company with an excellent, proven leadership team.

Java Developers (Architect, Tech Lead, Senior and Intermediate level roles)

Depending on your level of experience you will either lead or be a member of a team building different components of the Big Data analytics platform including integration with massive outside data sources. You will be working with the following technologies (not necessarily all of them are involved with every position):

* Java, XML, Web services/RESTful APIs
* Big Data Tools, Hadoop, Map/Reduce, Business Intelligence tools, Analytics, Casandra, NoSQL

Note: Big Data experience is NOT required, as long as you are solid in Java.

Requirements:

* Hands-on experience with Java
* Knowledge of RDBMS and SQL is required
* BS in Computer Science or equivalent fields, MS Preferred
* Smart, motivated, can do attitude, and seeks to make a difference

If this sounds interesting to you, please send me your resume as a Word attachment ASAP (.doc preferred over .docx). Plain text or RTF is also OK if you don’t have a copy of Word. No PDF's please. If you are not available at this time but can think of someone else for the position, please feel free to forward this announcement to your friends.

Regards,

[flip_flop]

Кстати, что здесь в US является аналогом нашего функиионально анализа (если брать курс по книге Колмогорова как определение "нашего")?

Real Analysis. Книга здесь переведена. В принципе термин "Функциональный Анализ" тоzhе используется, но если брать теорию меры, то все-таки Real Analysis.

Хм... Real Analysis - теория функций действительного переменного. Functional Analysis - функциональный анализ, скорее теория векторных пространств на множестве функций. Много общего но не совсем одно и то же. Колмогоров много чем занимался, его книга в оригинале звучит как "Элементы теории функций и функционального анализа", а здесь переведена как "Introductory Real Analysis". Но это так, буквоедство, на своих заблуждениях не настаиваю.

[Физик-Лирик]

Хм... Real Analysis - теория функций действительного переменного. Functional Analysis - функциональный анализ, скорее теория векторных пространств на множестве функций. Много общего но не совсем одно и то же. Колмогоров много чем занимался, его книга в оригинале звучит как "Элементы теории функций и функционального анализа", а здесь переведена как "Introductory Real Analysis". Но это так, буквоедство, на своих заблуждениях не настаиваю.

Здесь все-таки Real Analysis более распространенный термин. Именно он изучет измеримые пространства и функции. Формально можно сказать, что функциональный анализ более сконцентрирован на фунцкионалах и операторах. Но все-таки, если сравнивать учебники, то в них очень много пересекается. Оба "направления" вводят меру, интеграл Лебега, сигму алгебра, измеримые пространства. Оба изучают Гильбертовы и Банаховы пространства, доказывают полноту L^2 и т.д. Оба изучают теoрию аппроксимации в Гильбертовых простанствах. Это я к тому, что если кто хочет изучить данные раздел, то имеет смысл посмотреть оба названия.

[Физик-Лирик]

Несмотря на то что hadoop уже давно имеет место быть, видимо только сейчас он, а точнее Big Data в целом окончаетльно начал набирать обороты.
Правда с работами все пoказалось пока просто - большинство сконцентрировано в Bay Area

Это очень хорошо, значит поедим еще хлебушек и даже с маслицем. По моим наблюдениям, это все же больше ETL проекты. Базы данных уже не справлаются, так chто нужны надежные средства хранения и быстрые средства доставки информации. Что касается самой аналитики (tипа прогнозирования, численного анализа), то, как мне кажетsya, здес' все еще не до конца развито (мызгко говоря). Именно поэтому я выражал свое беспокойство данной ситуацией в начале топика.

[Леонид Ильич Брежнев]

У меня эквивалент бакалавра и несколько предметов мастера. Сейчас думаю, надо ли делать всего мастера, думаю, что не надо.

Бакалавр, как я понимаю тут? На фоне 1/3 - 1/4 кредитов по дженерал эду, т.е. вимен стадис, нютришен, и прочие полeзные предметы? Ну так это счастье тут есть у каждого первого закончившего советских политех. Другое дело, что этот самый каждый первый забыл все на след. день после сдачи экзаменов. Серьезным математиком можно считать человека с советским 5/5.5 летним дипломом или эквивалентным 6-и летним российским. С мехмата, может с примата, под вопросом с матмoделирования. И мест типа МГУ, ЛГУ, НГУ, в Харькове вот помню до войны была приличная школа .... Когда одна только математика, математика, и еще математика, ну может с небольшим перерывом на историю КПСС .

[Леонид Ильич Брежнев]

Что касается хвалёного "советского" образования, то моя подруга учится со мной, у неё российский 5-ти летний диплом математика. Она не помнит практически ничего. Линейную алгебру с нуля учит.

Можно подумать, Вы много будете помнить через 25 лет после получения диплома, если математикой все эти годы не будете заниматься. А то что математиков всего 0.4%, так я удивлен. Ну т.е. кому сходить к коллегам на math department и проверить, но лень. Удивлен, что так много. Философию-то оно в разы проще брать, чем математику, а годные для математики да физики студенты пойдут лучше в компьютеры.

[Физик-Лирик]

У меня эквивалент бакалавра и несколько предметов мастера. Сейчас думаю, надо ли делать всего мастера, думаю, что не надо.

Бакалавр, как я понимаю тут? На фоне 1/3 - 1/4 кредитов по дженерал эду, т.е. вимен стадис, нютришен, и прочие полeзные предметы? Ну так это счастье тут есть у каждого первого закончившего советских политех. Другое дело, что этот самый каждый первый забыл все на след. день после сдачи экзаменов. Серьезным математиком можно считать человека с советским 5/5.5 летним дипломом или эквивалентным 6-и летним российским. С мехмата, может с примата, под вопросом с матмoделирования. И мест типа МГУ, ЛГУ, НГУ, в Харькове вот помню до войны была приличная школа .... Когда одна только математика, математика, и еще математика, ну может с небольшим перерывом на историю КПСС .

Я бы сказал, серьезный математик - это тот, кто не только получил знания, но не успел их забыть. Я тут встречал немало людей из хороших институтов/универов, законченными еще в былинные времена, но уже позабывших многие вещи в силу переквалификации в основом в программирование. Ненужна здесь особо математика. Если идти в академию, то другое дело. В индустрии - тоже есть места. А так кому она (математика) здесь (и там) нужна? Может конечно оборонке? Если бы я начинал жизнь заново, я бы никогда не пошел в чистую математику. Только в прикладную.
Кстати, у меня сложилось убеждение, что у нас технарей из тех времен, "гуманитарных" предметов было меньше, а часов значительно больше. У меня на первых трех курсах было в районе 23 пар в неделю. Здесь оно гораздо меньше (обычно 12-15 часов).

[Физик-Лирик]

Что касается хвалёного "советского" образования, то моя подруга учится со мной, у неё российский 5-ти летний диплом математика. Она не помнит практически ничего. Линейную алгебру с нуля учит.

Можно подумать, Вы много будете помнить через 25 лет после получения диплома, если математикой все эти годы не будете заниматься. А то что математиков всего 0.4%, так я удивлен. Ну т.е. кому сходить к коллегам на math department и проверить, но лень. Удивлен, что так много. Философию-то оно в разы проще брать, чем математику, а годные для математики да физики студенты пойдут лучше в компьютеры.

Прямо мои мысли озвучили.

[Леонид Ильич Брежнев]

У меня эквивалент бакалавра и несколько предметов мастера. Сейчас думаю, надо ли делать всего мастера, думаю, что не надо.

Бакалавр, как я понимаю тут? На фоне 1/3 - 1/4 кредитов по дженерал эду, т.е. вимен стадис, нютришен, и прочие полeзные предметы? Ну так это счастье тут есть у каждого первого закончившего советских политех. Другое дело, что этот самый каждый первый забыл все на след. день после сдачи экзаменов. Серьезным математиком можно считать человека с советским 5/5.5 летним дипломом или эквивалентным 6-и летним российским. С мехмата, может с примата, под вопросом с матмoделирования. И мест типа МГУ, ЛГУ, НГУ, в Харькове вот помню до войны была приличная школа .... Когда одна только математика, математика, и еще математика, ну может с небольшим перерывом на историю КПСС .

Я бы сказал, серьезный математик - это тот, кто не только получил знания, но не успел их забыть. Я тут встречал немало людей из хороших институтов/универов, законченными еще в былинные времена, но уже позабывших многие вещи в силу переквалификации в основом в программирование. Ненужна здесь особо математика. Если идти в академию, то другое дело. В индустрии - тоже есть места. А так кому она (математика) здесь (и там) нужна? Может конечно оборонке? Если бы я начинал жизнь заново, я бы никогда не пошел в чистую математику. Только в прикладную.

Ну я бы сказал, что это одно из необходимых условий, но совершенно не достаточных . Снежной Королеве повезло попасть в наукоемкую область, а не просто стать очередным, хоть и высокооплачиваемым кнопкодавом. По факту, математики-бакалавры тут обычно слабые.

Кстати, у меня сложилось убеждение, что у нас технарей из тех времен, "гуманитарных" предметов было меньше, а часов значительно больше. У меня на первых трех курсах было в районе 23 пар в неделю. Здесь оно гораздо меньше (обычно 12-15 часов).

Ага. Ну скажем 3 - 4 пары, 6 дней в неделю было нормой. Студенты жалобы регулярно писали в ЦК про большую академическую загрузку. Бывало, что в зачетке на 10 предметов и доп. листочек подклеивали, поскольку предметов было 11/12 и строчек не хватало. И с первого курса совершенно pure специальности, с максимум одной гумманитаркой в семестр в среднем (и физкультурой). Остальное, математика, физика, химия, всякие тое/сопроматы/материаловедения, у кого что. И это люди, которые приходили учиться, которые в той же геометрии, теоремы доказывали, а не только типа на паурепионтовскуих слайдах их посмотрели.

[Леонид Ильич Брежнев]

Прямо мои мысли озвучили.

Ну так народ и партия, едины.

[bulochka]

А кроме того, положа руку на сердце, кто в советских вузах учил доказательства теорем на экзаменах? Уверена, половину списывали.

Не знаю, я учила. И большинство моих однокурсников тоже. Мы, правда, были не математиками.

[Физик-Лирик]

А кроме того, положа руку на сердце, кто в советских вузах учил доказательства теорем на экзаменах? Уверена, половину списывали.

Это как моя подруга однажды спросила: а вопросы к экзамену дадут? Я говорю: какие вопросы, молись чтобы задания были по материалу лекций хотя бы, а то часто бывает, что спрашивают совершенно отвлечённые вещи, которых может где-то мельком касались в курсе. Если касались вообще.

Расскажу Вам как мы сдавали устный экзамен по квантовой механике. Зевели нас в огромную лекционную аудиторию. Несколько групп сразу. Думаю было человек 100. С десяток препов. Раздали билеты. Где-то час на подготовку. Препы говорят, типа не списывайте. Народ, естественно списывает (я, кстати, нет). Ладно, настрочил несколько страниц. Иду отвечать. Уже открыл было рот, преп тыкает в формулу где-то в середине исписанных мной листов, указывает на букву "а". Мол, что это такое. Радиус Бора, говорю. ОК, начинай. Следующий экзамен. Статистическя физика. Сидит наша группа. Преп демонстративно уходит минут на 15-20. Понятно, что народ делает. Потом преп вернулся и стал таскать по билатам и допoлнительным вопросам. У меня этот экзамен длился 4 часа. Исписал в итоге почти всю тетрадку (по-моему там листов 12 было). Далее экзамен по теории конденсированного состояния. Преп раздает билеты. начинаем строчить. Преп говорит, нафига строчите, все равно по билетам спрашивать не буду. Подходили к нему, он всех своими вопросами озадачивал. Так что все на ходу пришлось выводить и решать. Мораль: списывай не списывай, а доказателства и вывод формул надо было знать досконально. А списывание не спасало. Так во время экзамена провирнут, что мало не покажется. Поэтому и говорю, что только писменные экзамны - просто профанация.

[Физик-Лирик]

Ну и что толку, что здесь 8 предметов в год. Каждый по 4 часа лекций + 10 часов домашней работы в неделю.

Не, здесь нагрузки не те. Вот у нас лекции с семинарами 9 до 6:30. Потом до 12 ночи домашки и подготовка к лабам. Во жизня была.
И куда оно все ушло?

[Annetta]

А кроме того, положа руку на сердце, кто в советских вузах учил доказательства теорем на экзаменах? Уверена, половину списывали.

Не знаю, я учила. И большинство моих однокурсников тоже. Мы, правда, были не математиками.

+1
У нас списывать было бесполезно Учили или пытались понять хотя бы

[Леонид Ильич Брежнев]

Ладно, настрочил несколько страниц. Иду отвечать. Уже открыл было рот, преп тыкает в формулу где-то в середине исписанных мной листов, указывает на букву "а". Мол, что это такое. Радиус Бора, говорю. ОК, начинай.

Оно самое. Кончился билет, начался экзамен, называется.

[Леонид Ильич Брежнев]

Это как моя подруга однажды спросила: а вопросы к экзамену дадут? Я говорю: какие вопросы, молись чтобы задания были по материалу лекций хотя бы, а то часто бывает, что спрашивают совершенно отвлечённые вещи, которых может где-то мельком касались в курсе. Если касались вообще.

Вот я помню, я когда до войны учился, был у нас такой доцент Нащекин. Так он любил и вовсе на экзамене спрашивать по вопросам, которые в списке были, но на лекции их не было. И жаловаться на него было совершенно не возможно, он гражданскую с красным знаменем закончил. По книжкам все, по книжкам. А время было тогда такое, что не все книги на руки давали. Так что в библиотеле сидишь, до закрытия до 10 вечера.

[Физик-Лирик]

Ну и что толку, что здесь 8 предметов в год. Каждый по 4 часа лекций + 10 часов домашней работы в неделю.

Не, здесь нагрузки не те. Вот у нас лекции с семинарами 9 до 6:30. Потом до 12 ночи домашки и подготовка к лабам. Во жизня была.
И куда оно все ушло?

Конечно, классная жизня! вам резюме писать не нужно было

Зато надо было писать диплом. Думаю, это все-таки более трудоемкий процесс. На самом деле я тут все больше бочку на местное образовабие качу (я это уже много лет делю). Про австралийское образование я ничего не знаю. Сюда по Вашим постaм оно там приличное. Здесь я с трудом представляю, что человек после бакалавра знает математику как Вы.
А резюме писать достаточно прикольно. Я вон сейчас свое раз в месяц просматриваю и в зависимости от настроя корректирую.
Если Вам интересно, поместите его здесь (уберите персоналку толко). Может мы тут коллективным разумом что-нибудь интересное соорудим. Я понимаю, под резюме Вы имеете в виду поиск работы. На самом деле ситуация будет продолжанться всегда, что сразу после универа, что через 10 лет. Все те же проблемы с поиском "оптимальной" работы (или зарплаты ).

[Kolbasoff]

Немного не в тему, но около: нарыл тут книженцию от гуру Ульмана:
Mining of Massive Datasets: http://infolab.stanford.edu/~ullman/mmds.html
может и мелькала тут эта инфа, но я не заметил. Так что решил постануть ссылку кому интересно.