Яндекс Лабс в Palo Alto набирает С++ developers

[crypto5]

Как-то ведь слабо верится, что они просто тупо скидывают все запросы в один, условно говоря файл, без того, чтобы проделывать все эти манипуляции по мере поступления данных?

Манипуляции проделываются, но не совсем в реальном времени, т.е. можно считать, что все валится в кучу.

Да понятное дело, что можно манипулировать как угодно, пусть даже не в реальном времени. Но определенный препроцессинг можно делать уже на этапе получения данных (пусть даже определенными бакетами). Ну вот вряд-ли просто тупо выкатят тебе миллиарды элементов и скажут, а ну посчитай что тут и как. Умнее же должно это быть.

Ну Ок, а какой бы хеш/индекс вам бы помог в этой задаче?

[Berlaga]

А если случайно взять скажем миллион samples?

Bingo! Именно этот ответ и ожидался.

[crypto5]

А если случайно взять скажем миллион samples?

Bingo! Именно этот ответ и ожидался.

Задача из серии - угадай что у меня в кармане ))

[Интеррапт]

А если случайно взять скажем миллион samples?

Bingo! Именно этот ответ и ожидался.

Задача из серии - угадай что у меня в кармане ))

Мда... Если все такие интервью - поиграть в угадайку, то спасибо, не нужно

[scorpion]

На этом вся БЫГ ДАТА и построена, что, как оказалось, вся data integrity, indexing, etc - в 99% никому не нужны, потому все проще сваливать в одну помойку, а уж если потребуется, потом в той помойке что-то конкретное искать.

Очень даже хочется все сразу считать и быстренько собирать, чтобы, например, autocomplete был супер свежий, т.е. если толпа ломанула и все начали искать ПОЧЕМУНУЖНЫТРУСЫ, то пишуший во второй, например, дюжине ПОЧЕМУНУЖНЫ уже должен видеть подсказку о трусах

[Berlaga]

Почему в угадайку? Вполне логичный ответ.

Ну и другие вопросы из той же серии примерно. Кто соберется - имейте ввиду.

[Ljolja]

А еще вопрос - список хоть отсортирован, уже хеширован и т.п.? Как-то ведь слабо верится, что они просто тупо скидывают все запросы в один, условно говоря файл, без того, чтобы проделывать все эти манипуляции по мере поступления данных?

может они их совсем не хранят, запрос сразу поступает в обработчик и в последуюшем хранится только некот. х характеризуюший запрос, возможно по х даже запрос 100% не восстанавливается

[Интеррапт]

Ну Ок, а какой бы хеш/индекс вам бы помог в этой задаче?

Например, хранить хештаблицу со счетчиком. Каждый раз когда поступает новый запрос, то он хешируется, идет поиск по хешу (условно - большая хеш таблица) и счетчик запросов для этого хеша увеличивается. Если счетчик достаточно большйо, чтобы попасть в топ 10 самых больших счетчиков - то в эту top 10 таблицу помещается запрос.

[crypto5]

Почему в угадайку? Вполне логичный ответ.

Ну и другие вопросы из той же серии примерно. Кто соберется - имейте ввиду.

Вполне логичный, только например если в датасете окажется скажем 20 запросов с разбросом в 50%, но их общая share будет меньше скажем 0.1%, такой подход уже будет работать с большой погрешностью, и он не выдаст именно 10 самых частых запросов.

[stenking]

А если случайно взять скажем миллион samples?

Bingo! Именно этот ответ и ожидался.

Задача из серии - угадай что у меня в кармане ))

Нормальная задача. Теория вероятности на нашей стороне. Ключи, кошелёк и телефон )

[Интеррапт]

Нормальная задача. Теория вероятности на нашей стороне. Ключи, кошелёк и телефон )

Вот же хреново, если там окажется только презерватив.

[Ljolja]

А если случайно взять скажем миллион samples?

Bingo! Именно этот ответ и ожидался.

т.е. нужно было ответить вопросом на вопрос?

[crypto5]

А если случайно взять скажем миллион samples?

Bingo! Именно этот ответ и ожидался.

Задача из серии - угадай что у меня в кармане ))

Нормальная задача. Теория вероятности на нашей стороне. Ключи, кошелёк и телефон )

Пожалуйста расчеты в студию что на вашей, а то опять туман мудрости пошел

[stenking]

Почему в угадайку? Вполне логичный ответ.

Ну и другие вопросы из той же серии примерно. Кто соберется - имейте ввиду.

Вполне логичный, только например если в датасете окажется скажем 20 запросов с разбросом в 50%, но их общая share будет меньше скажем 0.1%, такой подход уже будет работать с большой погрешностью, и он не выдаст именно 10 самых частых запросов.

Да, это отдельное PhD на тему сколько samples достаточно и в какой случае ))

[stenking]

Нормальная задача. Теория вероятности на нашей стороне. Ключи, кошелёк и телефон )

Вот же хреново, если там окажется только презерватив.

У Крипто который ночью сидит на форуме? Сомневаюсь

[scorpion]

может они их совсем не хранят, запрос сразу поступает в обработчик и в последуюшем хранится только некот. х характеризуюший запрос, возможно по х даже запрос 100% не восстанавливается

Контора пишет и хранит все и чем больше получается записать, тем лучше

[crypto5]

Нормальная задача. Теория вероятности на нашей стороне. Ключи, кошелёк и телефон )

Вот же хреново, если там окажется только презерватив.

У Крипто который ночью сидит на форуме? Сомневаюсь

Это у вас там ночь, а у нас детское время, я сейчас ребенку по второму кругу укладываю ))

[Berlaga]

Почему в угадайку? Вполне логичный ответ.

Ну и другие вопросы из той же серии примерно. Кто соберется - имейте ввиду.

Вполне логичный, только например если в датасете окажется скажем 20 запросов с разбросом в 50%, но их общая share будет меньше скажем 0.1%, такой подход уже будет работать с большой погрешностью, и он не выдаст именно 10 самых частых запросов.

И насколько вероятен такой расклад в условиях задачи? Напоминаю - это реальные данные реального популярного поиковика.

[dotcom]

Да понятное дело, что можно манипулировать как угодно, пусть даже не в реальном времени. Но определенный препроцессинг можно делать уже на этапе получения данных (пусть даже определенными бакетами). Ну вот вряд-ли просто тупо выкатят тебе миллиарды записей и скажут, а ну посчитай что тут и как. Умнее же должно это быть.

Я думаю в данном конкретном случае никто условия не ставил, и от кандидата бонусным ответом был бы рассказ про лингвистическую нормализацию запроса, орфо, лингво, амонический (или как он там называется, когда одно слово может быть глаголом и существительным, например) анализ, марковские последовательности и.т.п. Там до кучи можно нагрузить вопрошащего.

[crypto5]

Почему в угадайку? Вполне логичный ответ.

Ну и другие вопросы из той же серии примерно. Кто соберется - имейте ввиду.

Вполне логичный, только например если в датасете окажется скажем 20 запросов с разбросом в 50%, но их общая share будет меньше скажем 0.1%, такой подход уже будет работать с большой погрешностью, и он не выдаст именно 10 самых частых запросов.

И насколько вероятен такой расклад в условиях задачи? Напоминаю - это реальные данные реального популярного поиковика.

Помоему вполне вероятен в плане запросов к яндексу. Я даже думаю где то так и есть.

[Dweller]

Почему в угадайку? Вполне логичный ответ.
Ну и другие вопросы из той же серии примерно. Кто соберется - имейте ввиду.

Вполне логичный, только например если в датасете окажется скажем 20 запросов с разбросом в 50%, но их общая share будет меньше скажем 0.1%, такой подход уже будет работать с большой погрешностью, и он не выдаст именно 10 самых частых запросов.

Да, это отдельное PhD на тему сколько samples достаточно и в какой случае ))

Достаточно вполне базовых статистических критериев репрезантивности выборки
Основная мысль которой должен задаться соискатель это "а нафига нам точный ответ", а потом уже "как получить достаточно точный ответ с учетом того что набор самых популярных запросов может меняться каждый день" и "как получить приблизительный ответ как можно быстрее", желательно в реальном времени на, скажем, последних 7-30 днях данных

[Berlaga]

Почему в угадайку? Вполне логичный ответ.

Ну и другие вопросы из той же серии примерно. Кто соберется - имейте ввиду.

Вполне логичный, только например если в датасете окажется скажем 20 запросов с разбросом в 50%, но их общая share будет меньше скажем 0.1%, такой подход уже будет работать с большой погрешностью, и он не выдаст именно 10 самых частых запросов.

И насколько вероятен такой расклад в условиях задачи? Напоминаю - это реальные данные реального популярного поиковика.

Помоему вполне вероятен в плане запросов к яндексу. Я даже думаю где то так и есть.

Не поясните более детально?

[dotcom]

Достаточно вполне базовых статистических критериев репрезантивности выборки

Не думаю, что вопрос про это, хотя бонусом, опять же, можно было рассказать про оптимизацию с выборкой. Иначе бы в условии рассказали бы про распределение запросов.

[stenking]

А если случайно взять скажем миллион samples?

Bingo! Именно этот ответ и ожидался.

Задача из серии - угадай что у меня в кармане ))

Нормальная задача. Теория вероятности на нашей стороне. Ключи, кошелёк и телефон )

Пожалуйста расчеты в студию что на вашей, а то опять туман мудрости пошел

Оккк. Хотя в гугле говорят коммунизм но вы оттуда выходите в мир) А в большом мире приняты денежные отношения и кофе просто так вам не дадут уже. Соотвественно у вас есть деньги и кредитка которые как известно наиболее удобно держать в кошельке. Учитывая что в США машин больше чем людей то логично предположить что у вас тоже есть машина. А у машины есть дверь которая открывается каким-то устройством Теория вероятности нам говорит что скорее всего это устройство ключ а не айфон эпп. И ещё у вас есть место для жизни где есть дверь. И там тоже есть замок. И тоже логично предположить что он открывается ключом. А когда ключей больше чем один то они обычно организовываются в связку. Конечно её можно повесить на шею но скорее всего вы её ложите в карман

[crypto5]

Bingo! Именно этот ответ и ожидался.

Задача из серии - угадай что у меня в кармане ))

Нормальная задача. Теория вероятности на нашей стороне. Ключи, кошелёк и телефон )

Пожалуйста расчеты в студию что на вашей, а то опять туман мудрости пошел

Оккк. Хотя в гугле говорят коммунизм но вы оттуда выходите в мир. А в большом мире приняты денежные отношения и кофе просто так вам не дадут уже. Соотвественно у вас есть деньги и кредитка которые как известно наиболее удобно держать в кошельке. Учитывая что в США машин больше чем людей то логично предположить что у вас тоже есть машина. А у машины есть дверь которая открывается каким-то устройстов. Теория вероятности нам говорит что скорее всего это устройство ключ а не айфон эпп. И ещё у вас есть место для жизни где есть дверь. И так тоже есть замок. И тоже логично предположить что он открывается ключом. А когда ключей больше чем один то они обычно организовываются в связку. Конечно её можно повесить на шею но скорее всего вы её ложите в карман

Все мимо, связка ключей у меня большая - квартира два ключа, спортзал местный, велосипед, машина, телефон тоже большой нексус5, кошелек у меня тоже толстый, поэтому что бы не забивать карманы барахлом я с сумкой через плечо все время хожу, где это все и держу ))
А в кармане держу бейдж иногда ))