IT горячка в Сиэттле, эпизод 2

[Dweller]

Пришла пора сказать прощай нынешнему работодателю через 2.5 года усердного труда
После месяца подготовки, 7 онсайтов, получил хороший оффер, общая сумма в год кэшем 300, rsu чуть больше 200, первый год ещё и сайнап 50
Т.е. чуть больше полляма в год и никаких опций.
Есть жизнь на марсе, в общем! Боритесь и поборите!

Хотелось бы задать вопрос специалисту на эту тему. Если, допустим, специалист придумал уникальную модель для "машинного обучения", которая может быть восстребована другими людьми и компаниями. Подобрал нетривиальные фишки для тренировки, кост-функцию подобрал, написал какую-нибудь нестандартную библиотечку для просчета результатов и т.д. Можно ли получить патент на изобретение такой специфической модели в этом случае? Вам встречались подобные примеры? Если да, то ссылки нет случайно? Спасибо.

У меня самого патентов нет. Компания должна сама решать выгодно ли заморачиваться с адвокатами и тратиться на патент. Это недёшево, на мой взгляд пытаются прикрыть задницу просто чтобы кто то другой не отобрал идею и важный продукт.

[valchkou]

Пришла пора сказать прощай нынешнему работодателю через 2.5 года усердного труда
После месяца подготовки, 7 онсайтов, получил хороший оффер, общая сумма в год кэшем 300, rsu чуть больше 200, первый год ещё и сайнап 50
Т.е. чуть больше полляма в год и никаких опций.
Есть жизнь на марсе, в общем! Боритесь и поборите!

Хотелось бы задать вопрос специалисту на эту тему. Если, допустим, специалист придумал уникальную модель для "машинного обучения", которая может быть восстребована другими людьми и компаниями. Подобрал нетривиальные фишки для тренировки, кост-функцию подобрал, написал какую-нибудь нестандартную библиотечку для просчета результатов и т.д. Можно ли получить патент на изобретение такой специфической модели в этом случае? Вам встречались подобные примеры? Если да, то ссылки нет случайно? Спасибо.

можно, но ссылкой не поделюсь. Знаю одного чела он запилил какойто алгоритм несложный на видео аналитику. В итоге компания и купила его алгоритм и дала должность директора.
Сама идея не патентуется, а вот имплементация ввиде нестандартной библиотечки уже позволит этот патент получить.
Затем вам нужен сайт где вы в деталях распишите ваше детище, выйдете на профильные обсуждения, расскажете саксесс сторис на паре конференций и возможно вас купят,
по идее все это можно сделать и без патента, но патент однозначно добавит солидности и денег.

[alex_127]

Пришла пора сказать прощай нынешнему работодателю через 2.5 года усердного труда
После месяца подготовки, 7 онсайтов, получил хороший оффер, общая сумма в год кэшем 300, rsu чуть больше 200, первый год ещё и сайнап 50
Т.е. чуть больше полляма в год и никаких опций.
Есть жизнь на марсе, в общем! Боритесь и поборите!

Хотелось бы задать вопрос специалисту на эту тему. Если, допустим, специалист придумал уникальную модель для "машинного обучения", которая может быть восстребована другими людьми и компаниями. Подобрал нетривиальные фишки для тренировки, кост-функцию подобрал, написал какую-нибудь нестандартную библиотечку для просчета результатов и т.д. Можно ли получить патент на изобретение такой специфической модели в этом случае? Вам встречались подобные примеры? Если да, то ссылки нет случайно? Спасибо.

можно, но ссылкой не поделюсь. Знаю одного чела он запилил какойто алгоритм несложный на видео аналитику. В итоге компания и купила его алгоритм и дала должность директора.
Сама идея не патентуется, а вот имплементация ввиде нестандартной библиотечки уже позволит этот патент получить.
Затем вам нужен сайт где вы в деталях распишите ваше детище, выйдете на профильные обсуждения, расскажете саксесс сторис на паре конференций и возможно вас купят,
по идее все это можно сделать и без патента, но патент однозначно добавит солидности и денег.

патент нужен компании, статья/выступление на конференции - вам. в зависимости от конторы патент это 0..3000$ вам. я на патенты народа перед интервью смотрю по количеству и по соавторам, чтобы калибр человека представить...

[valchkou]

Пришла пора сказать прощай нынешнему работодателю через 2.5 года усердного труда
После месяца подготовки, 7 онсайтов, получил хороший оффер, общая сумма в год кэшем 300, rsu чуть больше 200, первый год ещё и сайнап 50
Т.е. чуть больше полляма в год и никаких опций.
Есть жизнь на марсе, в общем! Боритесь и поборите!

Хотелось бы задать вопрос специалисту на эту тему. Если, допустим, специалист придумал уникальную модель для "машинного обучения", которая может быть восстребована другими людьми и компаниями. Подобрал нетривиальные фишки для тренировки, кост-функцию подобрал, написал какую-нибудь нестандартную библиотечку для просчета результатов и т.д. Можно ли получить патент на изобретение такой специфической модели в этом случае? Вам встречались подобные примеры? Если да, то ссылки нет случайно? Спасибо.

можно, но ссылкой не поделюсь. Знаю одного чела он запилил какойто алгоритм несложный на видео аналитику. В итоге компания и купила его алгоритм и дала должность директора.
Сама идея не патентуется, а вот имплементация ввиде нестандартной библиотечки уже позволит этот патент получить.
Затем вам нужен сайт где вы в деталях распишите ваше детище, выйдете на профильные обсуждения, расскажете саксесс сторис на паре конференций и возможно вас купят,
по идее все это можно сделать и без патента, но патент однозначно добавит солидности и денег.

патент нужен компании, статья/выступление на конференции - вам. в зависимости от конторы патент это 0..3000$ вам. я на патенты народа перед интервью смотрю по количеству и по соавторам, чтобы калибр человека представить...

так вопрос был про личный патент. Компания не участвует.
Другой вопрос что будет делать работодатель когда узнает что за его спиной работник зафигачил свой патент.
ведь многие компании просят подписать бумажку что все интеллектуальные права принадлежат ей.

[alex_127]

а вы попробуйте зафайлить патент сами... вас ждет много приключений...
за спиной работодателя - суд. потому что лоерам тоже надо кушать вашу печень...
между компаний - ну я это делал по приколу... по прежнему - вас ждет много приключений...

[Dweller]

А давайте ка я подброшу дровишек в огонь и скажу что все мои три оффера где дали приличные деньги пришли от нанимающих менеджеров родом из России. При том что кроме них самих на интервью из России/бСССР никого другого не было - только стандартно в основном американцы китайцы индусы.

[Komissar]

А давайте ка я подброшу дровишек в огонь и скажу что все мои три оффера где дали приличные деньги пришли от нанимающих менеджеров родом из России.

По блату прошел!

[Dweller]

А давайте ка я подброшу дровишек в огонь и скажу что все мои три оффера где дали приличные деньги пришли от нанимающих менеджеров родом из России.

По блату прошел!

Ну так невеста была уже немолода

[Chessplayer]

А насчёт Гугл - ходил я к ним на L6, но ML позиций не было в киркланде, поэтому просто на бакенд, не взяли ... Очегь высокая планка там

Dweller, а на ML позиции в Гугле и FB требования на интервью такие же как для Software Engineers? Т.е. нужен System Design и еже с ним? Меня больше со стороны ML Science и model development это интересует, а не Engineering. У них есть отдельный трэк для таких людей или туда потом отбирают из софтверных инженеров? Или такими вещами только в Гугл Брэйн и FB Research занимаются? Я знаю, что есть отдельный трэк для Data Science, но у меня сложилось впечатление, что там только традиционный ML без нейронных сетей - это так или возможны варианты? Я про Bay Area спрашиваю, ежели что.

[Dweller]

ХЗ, я ж написал что интервью было не на ML позицию, поэтому не могу сказать что там было бы. Наверное ещё одна сессия с ML design

[IvanGrozniy]

что там только традиционный ML без нейронных сетей - это так или возможны варианты?

Я так понимаю нейронные сети в ML - этот тот же самый традиционный ML (linear/polynomial regression, logistic regression и т.д.), только со вставленными "скрытыми слоями". То есть, например, для нейронной архитектуры делаешь сначала linear regression на входных данных, потом берешь результаты и уже на них, как на входных параметрах делаешь еще один linear regression. Скрытых слоев может быть от 1 и более. Просто нужно часик-два потратить на формулы и понятно будет, что одинаковый подход, только добавлены дополнительные этапы между входными данными и результатами.

[Chessplayer]

Я так понимаю нейронные сети в ML - этот тот же самый традиционный ML (linear/polynomial regression, logistic regression и т.д.), только со вставленными "скрытыми слоями". То есть, например, для нейронной архитектуры делаешь сначала linear regression на входных данных, потом берешь результаты и уже на них, как на входных параметрах делаешь еще один linear regression. Скрытых слоев может быть от 1 и более. Просто нужно часик-два потратить на формулы и понятно будет, что одинаковый подход, только добавлены дополнительные этапы между входными данными и результатами.

То что вы описали - это через чур упрощенное понимание нейронных сетей и именно в таком виде мало где используется. В последние десять лет было разработано большое количество разных подходов и архитектур (CNN, RNN/LSTM, transformers, etc) для решения задач компьютерного зрения и обработки текстов. В широком смысле слова эта область получила название AI. Возьмите какой-нибудь базовый курс на эту тему, если вам интересно.

У меня сложилось впечатление, что Data Scientist-ы в Гугле и Фэйсбуке работают со стандартными алгоритмами больше подходящими для табличных данных или временных рядов (типа random forest или clustering) и в AI не лезут, но может быть я ошибаюсь?

[Chessplayer]

Кстати, отмечу один важный момент: то, что вы описали выше - это по прежнему линейная регрессия, а не нейронная сеть. Чтобы получить нейронную сеть, хотя бы один из слоев должен содержать нелинейность. Иначе перегруппировав параметры в этой сети, ее можно опять свести к обычной линейной регрессии.

[IvanGrozniy]

Я так понимаю нейронные сети в ML - этот тот же самый традиционный ML (linear/polynomial regression, logistic regression и т.д.), только со вставленными "скрытыми слоями". То есть, например, для нейронной архитектуры делаешь сначала linear regression на входных данных, потом берешь результаты и уже на них, как на входных параметрах делаешь еще один linear regression. Скрытых слоев может быть от 1 и более. Просто нужно часик-два потратить на формулы и понятно будет, что одинаковый подход, только добавлены дополнительные этапы между входными данными и результатами.

То что вы описали - это через чур упрощенное понимание нейронных сетей и именно в таком виде мало где используется. В последние десять лет было разработано большое количество разных подходов и архитектур (CNN, RNN/LSTM, transformers, etc) для решения задач компьютерного зрения и обработки текстов. В широком смысле слова эта область получила название AI. Возьмите какой-нибудь базовый курс на эту тему, если вам интересно.

У меня сложилось впечатление, что Data Scientist-ы в Гугле и Фэйсбуке работают со стандартными алгоритмами больше подходящими для табличных данных или временных рядов (типа random forest или clustering) и в AI не лезут, но может быть я ошибаюсь?

Я как раз лабораторную делаю по распознаванию циферок на картинке. Формула та же самая, как и в не нейронных сетях (прикреплена). Просто в цикле 10 раз обсчитываются параметры для логической классификации на каждую циферку. Здесь для распознавания рукописных цифр даже скрытых слоев не нужно для выбранной нейро-архитектуры. Входные данные - цвета 400 пикселей для каждой написанной цифры, выходные данные просто классификатор 1 или 0 каждой определенной цифры.
Бесплатная база данных 5000 примеров написания цифр можно скачать у профессоре LeCun по ссылке http://yann.lecun.com/exdb/mnist/
Он для почты США делал распознавание лет 20-30 назад.
Думаю, распознавание рукописных текстов только по входным данным побольше, а алгоритм тот же.

[IvanGrozniy]

Кстати, отмечу один важный момент: то, что вы описали выше - это по прежнему линейная регрессия, а не нейронная сеть. Чтобы получить нейронную сеть, хотя бы один из слоев должен содержать нелинейность. Иначе перегруппировав параметры в этой сети, ее можно опять свести к обычной линейной регрессии.

Ну вот что значит нелинейность? Логический классификатор по умолчанию нелинейный. Сигмоидная функция для предсказывания единицы или нуля h(theta) = 1 / (1 + e ^ -(z)) уже содержит экспоненту в степени. Просто параметр Z линейное уравнение от параметров тренировочного сэта X. Уже никак не свести к линейной регрессии. Если нужно, то входные парметры Z можно сделат полиномом нужной степени. Только нужно аккуратно делать, чтобы не было проблемы overfitting, когда вроде бы модель все данные покрывает, а предсказывает коряво. На много размерных данных все равно сразу полиномом нельзя делать, так как визуально не представишь, что происходит. Я бы, наверное, 3 типа реализовывал для сравнения: линейную, полиномиальную и полиномиальную с regularization.

[Chessplayer]

Ну вот что значит нелинейность? Логический классификатор по умолчанию нелинейный. Сигмоидная функция для предсказывания единицы или нуля h(theta) = 1 / (1 + e ^ -(z)) уже содержит экспоненту в степени. Просто параметр Z линейное уравнение от параметров тренировочного сэта X. Уже никак не свести к линейной регрессии. Если нужно, то входные парметры Z можно сделат полиномом нужной степени. Только нужно аккуратно делать, чтобы не было проблемы overfitting, когда вроде бы модель все данные покрывает, а предсказывает коряво.

Логический - да, но у вас выше шла речь про линейную регрессию, что не есть logisitic regression.

[IvanGrozniy]

Ну вот что значит нелинейность? Логический классификатор по умолчанию нелинейный. Сигмоидная функция для предсказывания единицы или нуля h(theta) = 1 / (1 + e ^ -(z)) уже содержит экспоненту в степени. Просто параметр Z линейное уравнение от параметров тренировочного сэта X. Уже никак не свести к линейной регрессии. Если нужно, то входные парметры Z можно сделат полиномом нужной степени. Только нужно аккуратно делать, чтобы не было проблемы overfitting, когда вроде бы модель все данные покрывает, а предсказывает коряво.

Логический - да, но у вас выше шла речь про линейную регрессию, что не есть logisitic regression.

Глянул в написанное, вы правы. Там две опечатки

[Chessplayer]

Я как раз лабораторную делаю по распознаванию циферок на картинке. Формула та же самая, как и в не нейронных сетях (прикреплена). Просто в цикле 10 раз обсчитываются параметры для логической классификации на каждую циферку. Здесь для распознавания рукописных цифр даже скрытых слоев не нужно для выбранной нейро-архитектуры. Входные данные - цвета 400 пикселей для каждой написанной цифры, выходные данные просто классификатор 1 или 0 каждой определенной цифры.
Бесплатная база данных 5000 примеров написания цифр можно скачать у профессоре LeCun по ссылке http://yann.lecun.com/exdb/mnist/
Он для почты США делал распознавание лет 20-30 назад.
Думаю, распознавание рукописных текстов только по входным данным побольше, а алгоритм тот же.

Методы Yann LeCunn работают (медленно) только для маленьких картинок и определенных задач. Для более сложных задач fully connected neural net будет слишком тяжелой и поэтому используют CNN. Но вы на правильном пути: пройдете базовый курс Andrew Ng, потом возьмите его курс по deep learning.

[Chessplayer]

Вы будете смеяться, но logistics regression именно что одна из разновидностей линейных моделей. Это статистика 101.

Я полагаю, что у вас была двойка по статистике и по чтению.

[Chessplayer]

Вы несогласны с моим утверждением?

Нет, поскольку linear models описывают регрессию, а logistic regression - классификацию. Т.е. конечно можно это всё назвать линейными моделями, но в разрезе нашего разговора ИваномГрозным о нейронках, между ними есть принципиальная разница связанная с нелинейностью.

[Caxapa]

народ, что в етом компоте больше привлекает и мотивирует: математика, программирование, бабло, ошушение себя шибко умным?

Мне лет 20 назад ето было интерсно, а сейчас нет.

[Chessplayer]

Что значит "linear models описывают регрессию"? Как можно регрессию "описать"?

Ок, я подумал, что если привести аналогию с регрессией и классификацией, то может быть вам будет понятнее о чем речь. Но вам похоже хочется придраться к словам. Было бы больше времени, то написал бы: "linear models применяются в задачах регрессии"... Но по большому счёту это неважно где и как они применяются. Важно то, что поскольку в logisitic regression стоит нелинейный sigmoid, то она по определению не может являться линейной. Собственно это мы с Иваном Грозным и обсуждали до вашего прихода в контексте нейронных сетей. Конечно, если вы рассматриваете вопрос вот с этих позиций: https://sebastianraschka.com/faq/docs/l ... inear.html , то да с натяжкой можно назвать обобщенной линейной моделью (в курсе линейной алгебры я бы за такое определение получил два), но какое отношение это имеет к первоначальной теме дискуссии?

И последний вопрос, умоляю, ответьте честно. Отвлечемся от нейронок и статистики. Вы понимаете что такое линейная комбинация?

Это наверное риторический вопрос? Такие базовые вещи проходят на первом курсе технического вуза.

[Chessplayer]

..

[Sergunka]

народ, что в етом компоте больше привлекает и мотивирует: математика, программирование, бабло, ошушение себя шибко умным?

Мне лет 20 назад ето было интерсно, а сейчас нет.

Только бабло... быть умным лет как сорок надоело На самом деле математики там нет, программирование там довольно линейное... ощутить себя умным вряд ли может кого-нибудь на этом ресурсе сильно смотивировать. К слову сказать и бабла то в общем если обычный ламер не очень то много насыпят за ту же яву могут больше дать Сложно нынче колхознику

[Chessplayer]

Описать регрессию нельзя, описать можно target.
Вы под "описать регрессию" имели в виду continuous target, наверное. Так в logistics regression output тоже continuous, модель выдает 0-1 continuous target. Это потом уже вы принимаете классификационное решение based on threshold.

Любая модель, которая описывает target (output, dependent variable) как линейную комбинацию inputs, является линейной. То, что target преобразован с помощью сигмоидной функции, никого не волнует. Важно что параметры additive as opposed to multiplicative
Perceptron ( a single layer nn) тоже суть линейная модель.

Тщательнее надо с определениями, тогда я не буду придираться к словам.

Ещё раз: ваше определение линейности моделей не имеет никакого отношения к первоначальному разговору про нейронки. Вы пытаетесь заменить понятие нелинейности (y(x) != ax+b), которая как мы обсуждали выше необходима для построения нейронной сети, на - является ли вход модели линейной комбинацией параметров (и неважно какие потом с ним производят преобразования). Разницу ощущаете? Я собственно сразу вам на это и указал.