Что стреляет лучше по баблу Spark или ML?

[nyekimov]

Первые минут пять рассказывал как он продал один из своих стартапов ораклу. Потом пытался начать "мне вопросы задавать", но я его успешно заткнула и перешла к технической части.
Начинаю спрашивать какие то базовые вещи про сергунькин любимый спарк и кафку - вообще все по нулям.
Есть же такие отчаянные

Примеры новых сотрудников в прошлом году. Возможности делать 10 интервью и 2-3 на полный день on site не было.
№1 - не самые яркие тех скиллы, но умение систематизировать несколько задач и декомпозировать каждую. Отсутствие скромности посоветоваться, с тем кто знает детали. Умение самому раскопать ответы на вопросы и варианты решения задач, и забыть через несколько недель Результат - очень ценный сотрудник.
№2 - не самые яркие тех скиллы, скажет даже на 3-. Умение автоматизировать всё что шевелится. При чем не только своё, но и видя проблемы других. Результат - ценный сотрудник.
№3 - почти идеальные ответы на тех вопросы интервью. Приличный список компаний где работал перед этим и список проектов. Не умение анализировать и применять свои знания. Не умение гуглить! Уж лучше бы был graduate. Результат - PIP.

К чему это всё... Не всегда идеальные ответы на тех интервью говорят, что человек подходит. А может человек подходит на другие задачи в команде, а не на то на что открыта позиция

Еще было б интересно знать, что у вас за компания, чтобы примерно понимать, куда по вашему мнению подходят кандидаты по перечисленным выше критериям.

[Sergunka]

и забыть через несколько недель

По этой причине я стал вести блог. А то заметил мне как-то особо никто не верил, что я там чего-то делал

[Физик-Лирик]

История... на предмет какие перцы ходят на интервью на Senior Big data Engineer...
Пришел один позавчера. В резюме какие то жуткие страсти: сто, ceo, machine learning, data science, стенфорд ... короче прячься кто может. Первые минут пять рассказывал как он продал один из своих стартапов ораклу. Потом пытался начать "мне вопросы задавать", но я его успешно заткнула и перешла к технической части.
Начинаю спрашивать какие то базовые вещи про сергунькин любимый спарк и кафку - вообще все по нулям.
Есть же такие отчаянные

Лично я не совсем понимаю, зачем бывшие сто хотят работать простыми инженерами. Может и альтруизм, а может и жизненные обстоятельства текущего момента. Но еще больше я не понимаю, как нанимающая сторона наивно надеется, что такой человек действительно собирается работать инженером.
А в чем разница между машобучем и дейта сайнсом в понимании вашей конторы? Может человек - великий математик, а тут его как рыбу об лед всякими спарками. Как все у вас в конторе приземлено. Почему интервьюируему нельзя вопросы задавать интервьюирующей стороне? Ведь по ним хорошо видно, насколько вменяем кандидат. У нас в школе за хорошие вопросы отличные оценки ставили. Скучненькие какие-то интервью.

[Физик-Лирик]

вот еще тебе Сергунька немного про ML от https://www.udemy.com/user/mikewest2/

Ну да, ну да. Неужели водитель-профессионал ничем не отличается от любителя даже с большим стажем? Ну не верю.
Вон понабежали программисты в дейта сайнс и всю великую идею испоганили. Вот и рассуждаем теперь, почему программисту не нужна математика. А что еще остается? Поэтому бизнес с таким недоверием к науке и относится. Сам только языком чесать умеет, да еще и с доморощенными дейта сантистами общается. В результате - полный бред.

[Сабина]

Первые минут пять рассказывал как он продал один из своих стартапов ораклу. Потом пытался начать "мне вопросы задавать", но я его успешно заткнула и перешла к технической части.
Начинаю спрашивать какие то базовые вещи про сергунькин любимый спарк и кафку - вообще все по нулям.
Есть же такие отчаянные

Примеры новых сотрудников в прошлом году. Возможности делать 10 интервью и 2-3 на полный день on site не было.
№1 - не самые яркие тех скиллы, но умение систематизировать несколько задач и декомпозировать каждую. Отсутствие скромности посоветоваться, с тем кто знает детали. Умение самому раскопать ответы на вопросы и варианты решения задач, и забыть через несколько недель Результат - очень ценный сотрудник.
№2 - не самые яркие тех скиллы, скажет даже на 3-. Умение автоматизировать всё что шевелится. При чем не только своё, но и видя проблемы других. Результат - ценный сотрудник.
№3 - почти идеальные ответы на тех вопросы интервью. Приличный список компаний где работал перед этим и список проектов. Не умение анализировать и применять свои знания. Не умение гуглить! Уж лучше бы был graduate. Результат - PIP.

К чему это всё... Не всегда идеальные ответы на тех интервью говорят, что человек подходит. А может человек подходит на другие задачи в команде, а не на то на что открыта позиция

ну молодцы вы че

[mskmel]

Еще было б интересно знать, что у вас за компания, чтобы примерно понимать, куда по вашему мнению подходят кандидаты по перечисленным выше критериям.

Это не моя компания, это выдуманные ситуации для иллюстрации примера
Вот только не надо, что везде и всюду набирают только гениев! А потом у эппла два раза клик и можно без рута ходить. Само собой, в создании Shellshock только гении участвовали.
У всех есть пробелы в знаниях, всем рано или поздно приходится сталкиваться с тем, с чем раньше не работали. Важно умение решать возникшие задачи, а не выученная наизусть документацию и ответы на вопросы сертификационных экзаменов. Полно мест, где умеющий нормально общаться и любознательный отличник, лучше заносчивого гения.

[Мальчик-Одуванчик]

Полно мест, где умеющий нормально общаться и любознательный отличник, лучше заносчивого гения.

Любознательный отличник в наше время большущий дефицит.

[Сабина]

вот еще тебе Сергунька немного про ML от https://www.udemy.com/user/mikewest2/

Ну да, ну да. Неужели водитель-профессионал ничем не отличается от любителя даже с большим стажем? Ну не верю.
Вон понабежали программисты в дейта сайнс и всю великую идею испоганили. Вот и рассуждаем теперь, почему программисту не нужна математика. А что еще остается? Поэтому бизнес с таким недоверием к науке и относится. Сам только языком чесать умеет, да еще и с доморощенными дейта сантистами общается. В результате - полный бред.

А у меня от его статьи наоборот сложилось впечатление что "программисты понабежали" это про программистов, которым надоело программировать и они надеялись, подавшись в data scientists, "чинно и важно" строить модели .. а там, протите оказалась полная ж... 70% времени уходит на ту же самую подготовку данных, то бишь старомодный скорбный программерский труд

[Сабина]

Полно мест, где умеющий нормально общаться и любознательный отличник, лучше заносчивого гения.

Любознательный отличник в наше время большущий дефицит.

Лично меня вообще мало пашет гений он или отличник. Надо чтобы человек разделил труд с командой, и как бы четко понятно что он должен знать для этого. А отличник он или гений - дело десятое. Если не знает - то зачем он нужен ? Еще и на роль senior enginner ? Менеджмент врое бы не просил им замену " покомандовать парадом"

[mskmel]

Лично меня вообще мало пашет гений он или отличник. Надо чтобы человек разделил труд с командой, и как бы четко понятно что он должен знать для этого. А отличник он или гений - дело десятое. Если не знает - то зачем он нужен ? Еще и на роль senior enginner ? Менеджмент врое бы не просил им замену " покомандовать парадом"

skip, next, он ВАМ не подходит, т.е. Вы не знаете как его задействовать. Ничего в этом плохо нет.

[voyager3]

История... на предмет какие перцы ходят на интервью на Senior Big data Engineer...
Пришел один позавчера. В резюме какие то жуткие страсти: сто, ceo, machine learning, data science, стенфорд ... короче прячься кто может. Первые минут пять рассказывал как он продал один из своих стартапов ораклу. Потом пытался начать "мне вопросы задавать", но я его успешно заткнула и перешла к технической части.
Начинаю спрашивать какие то базовые вещи про сергунькин любимый спарк и кафку - вообще все по нулям.
Есть же такие отчаянные

Лично я не совсем понимаю, зачем бывшие сто хотят работать простыми инженерами. Может и альтруизм, а может и жизненные обстоятельства текущего момента. Но еще больше я не понимаю, как нанимающая сторона наивно надеется, что такой человек действительно собирается работать инженером.
А в чем разница между машобучем и дейта сайнсом в понимании вашей конторы? Может человек - великий математик, а тут его как рыбу об лед всякими спарками. Как все у вас в конторе приземлено. Почему интервьюируему нельзя вопросы задавать интервьюирующей стороне? Ведь по ним хорошо видно, насколько вменяем кандидат. У нас в школе за хорошие вопросы отличные оценки ставили. Скучненькие какие-то интервью.

Дык легко. СЕО и СТО человек мог быть в стартапе "Я и Вася". Как сэкономленные на завтраках деньги закончились - обратно в реальность.

[Сабина]

История... на предмет какие перцы ходят на интервью на Senior Big data Engineer...
Пришел один позавчера. В резюме какие то жуткие страсти: сто, ceo, machine learning, data science, стенфорд ... короче прячься кто может. Первые минут пять рассказывал как он продал один из своих стартапов ораклу. Потом пытался начать "мне вопросы задавать", но я его успешно заткнула и перешла к технической части.
Начинаю спрашивать какие то базовые вещи про сергунькин любимый спарк и кафку - вообще все по нулям.
Есть же такие отчаянные

Лично я не совсем понимаю, зачем бывшие сто хотят работать простыми инженерами. Может и альтруизм, а может и жизненные обстоятельства текущего момента. Но еще больше я не понимаю, как нанимающая сторона наивно надеется, что такой человек действительно собирается работать инженером.
А в чем разница между машобучем и дейта сайнсом в понимании вашей конторы? Может человек - великий математик, а тут его как рыбу об лед всякими спарками. Как все у вас в конторе приземлено. Почему интервьюируему нельзя вопросы задавать интервьюирующей стороне? Ведь по ним хорошо видно, насколько вменяем кандидат. У нас в школе за хорошие вопросы отличные оценки ставили. Скучненькие какие-то интервью.

У меня есть знакомые, которые имели громкие титулы в конторах "рога и копыта". Но в какой то момент "кушать надо всем" и если контора разваливалась, то им приходилось обратно в workforce. Думаю у товарища похожий случай. Только он хочет на "былой славе" вьехать в рай. Но у нас не рай всяко - пущай ищет дальше

[Физик-Лирик]

А у меня от его статьи наоборот сложилось впечатление что "программисты понабежали" это про программистов, которым надоело программировать и они надеялись, подавшись в data scientists, "чинно и важно" строить модели .. а там, протите оказалась полная ж... 70% времени уходит на ту же самую подготовку данных, то бишь старомодный скорбный программерский труд

Я уже неоднократно высказывал свое мнение по поводу самого термина "дейта сайнтист". Понятное дело, был хороший маркетинговый ход, который некоторым пошел на пользу (тем, кто действительно хотел науку из данных извлекать, а не просто квериз гонять). В результате толпы сиквельщиков и программистов стали "учеными" . Сейчас ситуация несколько меняется. Наконец то разделяют на инженеров по данным и инженеров по машобучу. Последние собственоо и есть реальные дейта сайнтисты. Ничего не имею против инженеров по данным. Очень нужная дисциплина, требющая высокой квалификации. Но не надо их называть учеными.
Безусловно, моделирование требует программирования. Это просто неотемлемая часть работы. Не знаю, откуда взялись цифры о времени на подготовку данных. Тут все очень зависит. Чтобы "чинно" строить модели, надо понимать, как они работают и для чего их используют. А вот здесь у новоиспеченных ученых полный, извиняюсь, отстой. Знаете здешнюю байку, что студенты могут брать производные, но не знают определения оной. Так вот с дейта сайнсом тоже самое. На интервью красиво вещают, как они чего моделировали. Начинаешь основы спрашивать (типа, а почему так делали, а почему так не попробовали, базовые определения), все, кранты. А потом они с бизнесом разговаривать пойдут, типа задачи их решать. Ни они, ни бизнес толком ничего сформулировать не могут. Отсюда у бизнеса и сомнения, а нафига нам тут вся эта наука. Гадали на кофейной гуще, так и будем гадать. Поэтому я говопю, что все эти новоиспеченые непрофессионалы всю идею и поганят.
Кстати, непонимание сути дейта сайнс везде. Тут вот с рекрутерами общаюсь. Задают вопросы, а ты типа прраммировать умеешь.

[Сабина]

Не знаю, откуда взялись цифры о времени на подготовку данных.

В смысле ? Статью же обсуждаем ...

Reality: A recent Kaggle poll found that most machine learning is cleaning dirty day. Most respondents, regardless of their position (machine learning engineer, data scientist) said that 70% of their day involved massaging data into a shape it could be modeled.

[Мальчик-Одуванчик]

Ну так привести данные в потребный вид - как раз работа для дата аналитиков из бывших программистов.
А строить модели должны те кто в этом разбирается и как минимум имеет соответствующее образование.

[Физик-Лирик]

Не знаю, откуда взялись цифры о времени на подготовку данных.

В смысле ? Статью же обсуждаем ...

Я как раз ее и имею в виду.

[Сабина]

Не знаю, откуда взялись цифры о времени на подготовку данных.

В смысле ? Статью же обсуждаем ...

Я как раз ее и имею в виду.

А я не первый раз слышу что основные сложности связаны именно со сбоорм данных

[Физик-Лирик]

Ну так привести данные в потребный вид - как раз работа для дата аналитиков из бывших программистов.
А строить модели должны те кто в этом разбирается и как минимум имеет соответствующее образование.

Совершенно верно. Поэтому назовем первых инженерами данных, а вторых учеными или инженерами по машобучу (что уже делается). А вот называть всех поголовно дейта сайнтистами Еще один прикол современности - инженер по AI. Рекрутеры нашли моду спрашивать, а ты занимаешься этим самым АИ? Ну, да, только им родимым и занимаюсь. Куда ж без него. Вот прям АИ-АИ весь день.

[Физик-Лирик]

Не знаю, откуда взялись цифры о времени на подготовку данных.

В смысле ? Статью же обсуждаем ...

Я как раз ее и имею в виду.

А я не первый раз слышу что основные сложности связаны именно со сбоорм данных

Сложности чего? И что имеется в виду под сбором данных? В большинстве случаев т.н. сбор данных - обычный ЕТЛ. Конторы же свои данные, как правило, используют. И сложности т.н. сбора данных связаны именно с бардаком в хранении этих данных. Никакого отношения к науке.

[Сабина]

обычный etl в случае бигдата не совсем обычный. впрочем и обычный немало времени занимает

[Мальчик-Одуванчик]

А я не первый раз слышу что основные сложности связаны именно со сбоорм данных

Думаешь мекс понимает зачем нужно сдувать листья с луж во время дождя или немного погодя?

[Физик-Лирик]

обычный etl в случае бигдата не совсем обычный. впрочем и обычный немало времени занимает

Безусловно, ЕТЛ - важная часть любой работы, и там много своих подводных камней. Поэтому и существует разделение труда для дейта инженеров и ученых (те, кто модели строит). Конечно, между ними есть "пересечения". Ученые сами обрабатывают данные, но скорее уже в "конечной таблице", а вот эту самую "таблицу" им инженеры по данным и подготавливают обычно из разных источников. Причин для разделения труда несколько. Основная - ЕТЛщики не умеют, а ученые не хотят заниматься другими вещами. Если следовать данной классификации, я очень сомневаюсь по поводу приведенной выше цифре относительно времени. Хотя задачи, конечно, разные бывают. Одна из задач ученых - донести до бизнеса, что они делают. А это может стать большой проблемой в силу непонимания бизнесом, что происходит. Поэтому в такой момент на первый план и выходит квалификация ученого. А если такой ученый строит модели путем вызова функции с известным ему названием (например, линейная регрессия), хорошего не жди. Далее - интерпретация результатов. Типа две кривые не совпадают, значит результаты разные. Про т-тесты, лог-ренк, кай большинство понятия не имеет. Именно здечь и причина в хорошем знании математики. А если бы вы слышали "научные" перлы, которые нередко на митингах проскакивают. Благо кроме пары человек маразма происходящего никто не замечает. А потом перл и замять можно.

[Физик-Лирик]

А я не первый раз слышу что основные сложности связаны именно со сбоорм данных

Думаешь мекс понимает зачем нужно сдувать листья с луж во время дождя или немного погодя?

На этот вопрос уже ответил Эдуард Бернштейн очень много лет назад. Пероводя на современный язык - главное бабло срубить, а остальное (результат) не важно. А вообще принципы типа пускания пыли в глаза и навешивания лапши на уши - очень полезные в современной работе.

[Сабина]

А я не первый раз слышу что основные сложности связаны именно со сбоорм данных

Думаешь мекс понимает зачем нужно сдувать листья с луж во время дождя или немного погодя?

Если он понимает и более того в один день придумает машину, которая это все делает в разы лучше и быстрее, то из него может полуится Илон Маск . А мекс или кто - дело десятое

[Sergunka]

Если хотите взять быка за рога, то разбирайтесь в deep learning:
https://www.coursera.org/specializations/deep-learning

Я уже вписался в этот курс. Хотелось бы за бабосы поговорить?

По спарку сейчас гоняем связку кашка-спарки-кассандра

Сегодня сделал сертификацию по первому курсу на четыре недели. Очень толковый курс с правильным подходом.