Gps tracking data analysis

[Сабина]

Никто не подкинет описание как именно собираются данные с точки зрения софта ?
Например ездит автобус с GPs и посылает свои location данные на какой то сервер периодически. Понимаю что из раздела internet of things но мало знаю keywords чтобы нагуглить что то конкретное. Хотелось бы понимать суть в какой форме девайс посылает geolocation данные, что именно их на сервере принимает ( rest api?). Пишутся они я так понимаю или в базу или в file system в виде лога и потом обсчитывается аналитика ?

[АццкоМото]

Широта, долгота, таймстемп, йопта
Что захочешь, то и принимает, йопта
Как хочешь, так и хранишь, йопта

[helg]

Вот тут лекция для старшеклассников как это делается

http://habrahabr.ru/company/yandex/blog/210240/

[Palych]

GPX format

[Сабина]

Широта, долгота, таймстемп, йопта
Что захочешь, то и принимает, йопта
Как хочешь, так и хранишь, йопта

Это понятно. Интересно как оптимальнее в плане архитектуры всего приложения. Вот скажем проэкт traffic.berkeley.edu . Это Apache spark. Если я правильно понимаю logs parsing, HDFS etc
Есть еще варианты с rest service которые пишут в облако в shared db, mongo какое нибудь.
Короче охота посмотреть на удачный пример всего стека end-to-end

[Сабина]

Вот тут лекция для старшеклассников как это делается

http://habrahabr.ru/company/yandex/blog/210240/

Спасибо, хороший пример алгоритма. Интересно у них есть что то с описанием end-to-end architecture ?

[stenking]

Невозможно ответить на незаданную задачу с незаданными параметрами и условиями Архитектура для одного автобуса с шагом 1 час отличается от полмиллиарда селфонов которые шлют свои координаты каждую минуту. Потом непонятно что вы хотите делать с этими данными. Считать и стирать? Считать и архивировать? Просто доставать по запросу? И т.д.

Какая разница в какой форме эти данные попадут на ваш сервер и кто их обработает и как. Может быть REST сервис какой-то а хотите напишите SOAP или просто POST делайте или пишите куда-то в дейтастор или парсе ( https://parse.com/products/core )

АццкоМото хорошо ответил

[Сабина]

Стенкинг, если вам невозможно - не отвечайте.

UPD: почитавши и сделав скидку на пальцы ...
datastore и есть blob в клауде aka file system
parse sdk судя по поверхностному прочтению то же самое предлагает, но на самом деле нифига непонятно что "в кишках".

Я же просила нечто подобное полному обзору стека, а если еще и с примерами, то вообще супер. Никто не уточняет о каком именно GPS tracking речь, потому что это неважно, нужен просто удачный пример. У вас есть удачный пример полного описания стека end to end с этим вашим parse sdk например ? Big data или нет - не принципиально. Но мне кажется с timeseries лучше сразу туда целиться. Что-то вроде
https://www.youtube.com/watch?v=VyEdy-l5608 - в плане описания детальности стека
https://amplab.cs.berkeley.edu/2012/01/ ... -big-data/
http://people.csail.mit.edu/matei/paper ... ennium.pdf
http://www.vref.se/download/18.778e24d1 ... 180006120/
- последние три линка пример GPS tracking + big data with architecture details

Судя по всему и Spark и Mongo уже предлагаются как cloud service и используются вместе
https://gigaom.com/2014/10/15/cloud-com ... loads-too/
http://codeforhire.com/2014/02/18/using ... h-mongodb/

[katit]

Сабина, вы задаеете какие-то странные вопросы. Какой вопрос - такой ответ. Правильно уже вам рассказали. У меня есть именно такое приложение. Шлется lat/lon/altitude/compass/speed/timestamp GPS/timestamp Device

На сервере хранится в базе данных. Для моего случая обработка минимальная, я только смотрю в каком зипе находится.
Данные передаются в ProtoBuf если это важно, но это REST service.

Вы постоянно спрашиваете про какие-то облака с какими-то уже готовыми сервисами. Как будто сами в облаках летаете, прочитайте
http://www.joelonsoftware.com/articles/ ... 00018.html

Все надо делать ручками, все задачи и случаи разные..

[stenking]

Стенкинг, если вам невозможно - не отвечайте.

UPD: почитавши и сделав скидку на пальцы ...
datastore и есть blob в клауде aka file system
parse sdk судя по поверхностному прочтению то же самое предлагает, но на самом деле нифига непонятно что "в кишках".

Я же просила нечто подобное полному обзору стека, а если еще и с примерами, то вообще супер. Никто не уточняет о каком именно GPS tracking речь, потому что это неважно, нужен просто удачный пример. У вас есть удачный пример полного описания стека end to end с этим вашим parse sdk например ? Big data или нет - не принципиально. Но мне кажется с timeseries лучше сразу туда целиться. Что-то вроде
https://www.youtube.com/watch?v=VyEdy-l5608 - в плане описания детальности стека
https://amplab.cs.berkeley.edu/2012/01/ ... -big-data/
http://people.csail.mit.edu/matei/paper ... ennium.pdf
http://www.vref.se/download/18.778e24d1 ... 180006120/
- последние три линка пример GPS tracking + big data with architecture details

Судя по всему и Spark и Mongo уже предлагаются как cloud service и используются вместе
https://gigaom.com/2014/10/15/cloud-com ... loads-too/
http://codeforhire.com/2014/02/18/using ... h-mongodb/

Я честно прошёлся по всем линкам и до сих пор не понял что вы пытаетесь узнать или спросить. Вы просто произнесли кучу баз вордс в случайном порядке.

GPS дата ничем не отличается от любой другой даты шлёт допустим ваш телефон или автобус на сервер каждую минуту:

Code: Select all

{"id": DDF56, "lat": -45.4444, "long": 15.444, "alt": 44, "heading" : null, "speed": 34, "accuracy": 455, "timestamp": 23232323  }

Ну и? Сохраняйте как хотите и где хотите в зависимости от того что вы с этой датой будете делать, сколько этой даты вообще и как её нужно доставать.

Parse как раз для таких вещей очень даже подходит - что бы с сервером, api, траффиком и скелингом не заморачиватся. Там же можно background jobs запускать что бы потом эту ваши дату посчитать например. Вы же говорите какие-то общие фразы про Spark и Mongo. Ну и? При чём тут GPS приложение то? Хотите использовать Spark что бы хранить эту дату? Ну почему бы и нет. Любите монгодб? Тоже неплохо. Хотите хостить их сами или использовать готовые сервисы? Можно и так и так.

[Сабина]

Может вопрос кажется странным, потому что вы его как то странно читаете? Я прошу просто пример хорошо задизайненого проэкта сбора и анализа данных с geolocation ( много аналитики), с описанием архитектуры. Я не решаю конкретную проблему, я просто поближе знакомлюсь с предметом. Вы пишете, что я вам requirements неточные дала и все спросила не так
Что значит я "постоянно спрашиваю облака" ? Вроде написано "есть еще варианты" и не более . При чём тут "готовые сервисы" и что вы называете готовым сервисом в данном контексте? SaaS или PaaS? Я просто смотрю на описание проектов по subj и там упоминаются эти технологии. Если у вас минимальная обработка как вы говорите и вам этого ничего не надо, ну приведите линк на описание своей архитектуры или похожей от-и-до и я вам буду благодарна.
А пока я нашла все нужные детали по traffic.berkeley.edu and quite happy.

[Мальчик-Одуванчик]

Широта, долгота, таймстемп, йопта
Что захочешь, то и принимает, йопта
Как хочешь, так и хранишь, йопта

йопта - это оператор связи?

[stenking]

Может вопрос кажется странным, потому что вы его как то странно читаете? Я прошу просто пример хорошо задизайненого проэкта сбора и анализа данных с geolocation ( много аналитики), с описанием архитектуры.

А вам пытаются обьяснить что в web development нет такого понятия "хорошо задизайненый проэкта" а архитектура зависит от трафика, объёма данных, денег, технологий которые вы знаете, секьюрити, времени для разработки, поддержки и т.д.

Если вам хочется меньше головной боли, поддержку многих параллельных соеденений ( скажем 100К concurrent connections ), сильно изменяющегося траффика и обьёмы даты огого то можно использовать GAE, Parse например...но это может довольно дорого стоить. Можно самому запускать тот же spark или монго на кластере - много проблем, поддерживать нужно но дешевле для большой даты.

А может вам тупо нужен один сервер где и база и эпп крутится. Для пару миллионов записей и бэкграунд аналитики будет даже sqlite работать без проблем.

Я не решаю конкретную проблему, я просто поближе знакомлюсь с предметом.

С каким предметом? Архитектура веб приложений?

[АццкоМото]

Если вам хочется меньше головной боли, поддержку многих параллельных соеденений ( скажем 100К concurrent connections ), сильно изменяющегося траффика и обьёмы даты огого то можно использовать GAE, Parse например...

у GAE дурацкий нюанс в том, что он стейтлесс. и постоянный коннект не держит (если неправ и есть воркэраунд - буду признателен), поэтому приходится городить огород с пуш-нотификациями, что с одной стороны приемлемо, с другой - не очень здорово
Есть два очень интересных решения для большого кол-ва параллельных и долгоживущих соединений:
1. Open source message queues типа RabbitMQ или Apollo.
2. CouchDB + CouchDB Mobile + CouchDB Mobile Sync
поднимается легко, скейлится ояе....

[zVlad]

Чуваки, вы что не понимаете что Сабина получила новое задание на работе и поскольку своих идей у нее нет, и гугл не помогает, то она, зная ваше стремление блеснуть эрудицией и опытом перед женщиной и друг перед другом, принесла это задание сюда в надежде блеснуть перед работодателем и получхить свои бенефиты.

[АццкоМото]

Широта, долгота, таймстемп, йопта
Что захочешь, то и принимает, йопта
Как хочешь, так и хранишь, йопта

йопта - это оператор связи?

это вскл знк, йопта

[АццкоМото]

Чуваки, вы что не понимаете что Сабина получила новое задание на работе и поскольку своих идей у нее нет, и гугл не помогает, то она, зная ваше стремление блеснуть эрудицией и опытом перед женщиной и друг перед другом, принесла это задание сюда в надежде блеснуть перед работодателем и получхить свои бенефиты.

да мне как-то пофигу, йопта

[Alex S]

Чуваки, вы что не понимаете что Сабина получила новое задание на работе и поскольку своих идей у нее нет, и гугл не помогает, то она, зная ваше стремление блеснуть эрудицией и опытом перед женщиной и друг перед другом, принесла это задание сюда в надежде блеснуть перед работодателем и получхить свои бенефиты.

И чё? Кто хочет и может тот блещет, кого жаба давит или не может тот не блещет? Никто же никого не заставляет насильно блестать если он не хочет.

[stenking]

Если вам хочется меньше головной боли, поддержку многих параллельных соеденений ( скажем 100К concurrent connections ), сильно изменяющегося траффика и обьёмы даты огого то можно использовать GAE, Parse например...

у GAE дурацкий нюанс в том, что он стейтлесс. и постоянный коннект не держит (если неправ и есть воркэраунд - буду признателен), поэтому приходится городить огород с пуш-нотификациями, что с одной стороны приемлемо, с другой - не очень здорово
Есть два очень интересных решения для большого кол-ва параллельных и долгоживущих соединений:
1. Open source message queues типа RabbitMQ или Apollo.
2. CouchDB + CouchDB Mobile + CouchDB Mobile Sync
поднимается легко, скейлится ояе....

Я больше имел ввиду если скажем делаем эпп который шлёт свою локейшин каждую минуту и ориентируемся на 10М закачек и скажем 1М девайсов "онлайн". Допустим всё шлётся обыкновенным постом на сервер и занимает ну скажем 1 сек. Допускаем равномерную дистрибьюцию по времени и получаем 1,000,000 / 60 = 16К паралельных соединений в любом момент времени. Умножаем на 10 ( запас прочности ) = 160К threads. Пускай логика написана на JAVA и просто тупо пишет в базу. Всё равно 10MB RAM эпп сожрал. Средний сервер с 8gigami и скоко там cores обычно больше 1К запросов обрабатывает плохо. Я видел и 5К и даже 15К но это исключения. Всё равно нужно 10-ки, а скорее сотни серверов.


Это много - т.е. скажем GAE такое может scale без проблем ( сделает скажем 500 инстансев ) и всё.

Ну и писать дату в datastore - nosql от гугла, она хорошо заточенна именно на такие массивные вещи

Работы на один день. Плохо?

[Palych]

А что означают 100К concurrent connections?
Есть ли вообще смысл считать соединения?
Почему не сделать все stateless?

[Сабина]

Чуваки, вы что не понимаете что Сабина получила новое задание на работе и поскольку своих идей у нее нет, и гугл не помогает, то она, зная ваше стремление блеснуть эрудицией и опытом перед женщиной и друг перед другом, принесла это задание сюда в надежде блеснуть перед работодателем и получхить свои бенефиты.

А что так невнимательно zVlad. Хоть бы почитали что ли в соседнем разделе про Christmas shutdown. Да и бенефиты то у контракторов дорогие и неважные
Я вам наверное мешаю тут блистать фонтаном ваших идей про светлое будущее мейнфреймов? Вы так не переживайте - все эрудиты сразу побегут такую зашибенную тему обсуждать побросав все на свете

[zVlad]

Чуваки, вы что не понимаете что Сабина получила новое задание на работе и поскольку своих идей у нее нет, и гугл не помогает, то она, зная ваше стремление блеснуть эрудицией и опытом перед женщиной и друг перед другом, принесла это задание сюда в надежде блеснуть перед работодателем и получхить свои бенефиты.

А что так невнимательно zVlad. Хоть бы почитали что ли в соседнем разделе про Christmas shutdown. Да и бенефиты то у контракторов дорогие и неважные
Я вам наверное мешаю тут блистать фонтаном ваших идей про светлое будущее мейнфреймов? Вы так не переживайте - все эрудиты сразу побегут такую зашибенную тему обсуждать побросав все на свете

Я не понял что Вы хотите сказать. Что я верно подметил и Вы нашли себе работу на 2-3 недели и срочно ищите подсказку как эту работу выполнить?

Я не про светлое будущее МФ пишу, а про светлое будущее с МФ. А с эрудитами, да, не густо, это Вы верно подметили. Такое впечатление складывается что с дворовой шпаной приходится иметь дело (не обо всех речь, есть и приятные люди в теме). Вам гораздо больше везет с этим.

[Сабина]

А вам пытаются обьяснить что в web development нет такого понятия "хорошо задизайненый проэкта" а архитектура зависит от трафика, объёма данных, денег, технологий которые вы знаете, секьюрити, времени для разработки, поддержки и т.д.

Если вам хочется меньше головной боли, поддержку многих параллельных соеденений ( скажем 100К concurrent connections ), сильно изменяющегося траффика и обьёмы даты огого то можно использовать GAE, Parse например...но это может довольно дорого стоить. Можно самому запускать тот же spark или монго на кластере - много проблем, поддерживать нужно но дешевле для большой даты.

А может вам тупо нужен один сервер где и база и эпп крутится. Для пару миллионов записей и бэкграунд аналитики будет даже sqlite работать без проблем.

Я не решаю конкретную проблему, я просто поближе знакомлюсь с предметом.

С каким предметом? Архитектура веб приложений?

Стенкинг, солнце, есть хорошо задизайненые веб приложения. Да, я согласна что изначально не описала всех деталей, но ведь в первом же ответе Ацке уточнила что timeseries и что собирается много данных и считается real time аналитика и даже приведен конкертный пример traffic.berkeley.edu. Сколько можно уже возмущаться и повторять "А может вам тупо нужен один сервер где и база и эпп крутится"?

Энивей, дурацкий был вопрос или не дурацкий, но наши уважаемые рисечеры, смотрящие в светлое будущее, хотят latest and greatest и пока нас распустили на каникулы святое дело в этом поковыряться и понять что к чему.

Если брать IoT в частности, то наблюдается следующая тенденция насколько я вижу.
В то время пока Oracle выпускает Java8Me со всякими встроенными sensor, presence и прочими API для упрощения процесса сбора данных, на сервер side тоже наблюдается тенденция заворачивания всего что можно в платформу и API.
Здесь в ход идут hosted services - где и spark и mongo и аналитика и все что хоть каким то образом можно реюзать сидит или на PaaS или на SaaS layer.
Например IMB's Bluemix
http://thoughtsoncloud.com/2014/04/ibm- ... e-bluemix/

То есть от фреймоворков (прошу не путать с менйфреймами) и облаков с one click deployments при сложности проэкта выше среднего боюсь скоро будет не убежать

[Сабина]

Я не понял что Вы хотите сказать. Что я верно подметил и Вы нашли себе работу на 2-3 недели и срочно ищите подсказку как эту работу выполнить?

Я не про светлое будущее МФ пишу, а про светлое будущее с МФ. А с эрудитами, да, не густо, это Вы верно подметили. Такое впечатление складывается что с дворовой шпаной приходится иметь дело (не обо всех речь, есть и приятные люди в теме). Вам гораздо больше везет с этим.

Я хочу сказать что вы - или хам и сноб по жизни или вас кто-то сегодня куснул и вы пошли бросаться на других. Странно что приходится это дополнительно пояснять.

[Мальчик-Одуванчик]

Ну и нафига автобусу сливать свои координаты в облако?