Моя компания нанимает Senior Big Data Engineer

[AlexSulimanov]

Привет!

Описание позиции: https://jobs.smartrecruiters.com/Ancest ... a-engineer

Платят отлично, проект новый, будем реайлтайм дата саенс делать.

По всем вопросам можете писать мне в личку или на почту asulimanov\/ancestry.com

[35ED]

Real-time на Java ? Are your joking ?
На commodity алгоритмах Spark ML Lib ?

Зачем вообще CS degree для дата сайнс ?
Разве там учат Non-parametric Bayesian Statistics ? Non-parametric state-space methods ? BP-AR-HMM, HDP-AR-HMM, iPOMDP, iDDM ?
AWS конечно хорошо для ресурсоемкой тренеровки моделей, спору нет !
Компания собирается использовать его в продакшен на BigData ? это сколько денег уйдет

[AlexSulimanov]

A lot of our projects require processing large data sets, primarily for data science but also for other projects. For now we use Spark but all of the jobs are batch. Going forward we're going to convert them into realtime, application framework could be anything that allows to build/train models on large scale.

[iDesperado]

Real-time на Java ? Are your joking ?
На commodity алгоритмах Spark ML Lib ?

а в чем проблема с кафки в практически в реалтайм читать спарком ? и скармливать спарковый датафрейм можно хоть jppml, где алгоритмов побольше. саму то модель сатанисты/сайнтисты разрабатывают/тренеруют какими-то своими мутными тулами