Gps tracking data analysis

Сабина · Post by **Сабина** » 09 Dec 2014 00:21

Мальчик-Одуванчик wrote:Ну и нафига автобусу сливать свои координаты в облако?

Одному автобусу может и не надо. А если это трансамериканская сеть и они еще попутно с локейшеном будут сливать данные с сенсоров анализирующих состояние оборудования - то вполне себе use case. Я просила пример хорошей и интересной архитектуры, а не order-sandwich-online

zVlad · Post by **zVlad** » 09 Dec 2014 00:24

Сабина wrote:
zVlad wrote: Я не понял что Вы хотите сказать. Что я верно подметил и Вы нашли себе работу на 2-3 недели и срочно ищите подсказку как эту работу выполнить?

Я не про светлое будущее МФ пишу, а про светлое будущее с МФ. А с эрудитами, да, не густо, это Вы верно подметили. Такое впечатление складывается что с дворовой шпаной приходится иметь дело (не обо всех речь, есть и приятные люди в теме). Вам гораздо больше везет с этим.
Я хочу сказать что вы - или хам и сноб по жизни или вас кто-то сегодня куснул и вы пошли бросаться на других. Странно что приходится это дополнительно пояснять.

Ничего подобного. Просто я вспомнил сколько подобных тем Вы открыли и у меня вдруг появилась идея как это все в совокупности обяснить можно было бы. Ничего лично, просто идея. А что у нас осуждается выражать идеии? Сразу надо вешать ярлыки: "сноб по жизни", "кто-то куснул". Знаете наоборот на редкость удачный день был: и на тим митинге удачно выступил (со своими идеями, кстати), и с интересными людьми из ИБМ посидели в ресторане. Правда кухня в Канаде хреновая куда не попади - стейк сожгли, угли пришлось есть.

Сабина · Post by **Сабина** » 09 Dec 2014 00:32

zVlad wrote: Ничего подобного. Просто я вспомнил сколько подобных тем Вы открыли и у меня вдруг появилась идея как это все в совокупности обяснить можно было бы. Ничего лично, просто идея. А что у нас осуждается выражать идеии? Сразу надо вешать ярлыки: "сноб по жизни", "кто-то куснул". Знаете наоборот на редкость удачный день был: и на тим митинге удачно выступил (со своими идеями, кстати), и с интересными людьми из ИБМ посидели в ресторане. Правда кухня в Канаде хреновая куда не попади - стейк сожгли, угли пришлось есть.

Каких подобных? Если вам открытые мною тему неинтересны - это еще не повод считать их подобными. И уж тем более не повод писать оскорбительные комментарии в мой адрес. У вас выдался удачный день и вы пошли на Привет людей оскорблять? Или это угли так аукнулись в организме что стало невмоготу? Way to go. Вынуждена вас разочаровать - у меня не просто есть идеи, а на них еще и компания патент файлит. И поговорить я сюда прихожу потому что в отличии от вас тут не одни хамы собрались, а вот с эрудицией как раз таки все пучком, бывает весьма интересно. Жаль Интеррапта и Co выжили, с ними было на порядки интереснее.

Мальчик-Одуванчик · 09 Dec 2014 00:38

Сабина wrote:
Мальчик-Одуванчик wrote:Ну и нафига автобусу сливать свои координаты в облако?
Одному автобусу может и не надо. А если это трансамериканская сеть и они еще попутно с локейшеном будут сливать данные с сенсоров анализирующих состояние оборудования - то вполне себе use case. Я просила пример хорошей и интересной архитектуры, а не order-sandwich-online

Такое решение выглядит более чем странно. Если данные можно обработать не городя промежуточного слоя, то наиболее правильным, с моей точки зрения, будет обработка прямо на месте. Облако тут вообще не вперлось.

stenking · Post by **stenking** » 09 Dec 2014 00:43

Сабина wrote:
Мальчик-Одуванчик wrote:Ну и нафига автобусу сливать свои координаты в облако?
Одному автобусу может и не надо. А если это трансамериканская сеть и они еще попутно с локейшеном будут сливать данные с сенсоров анализирующих состояние оборудования - то вполне себе use case. Я просила пример хорошей и интересной архитектуры, а не order-sandwich-online

Там где ездит автобус обычно интернета нету - как вы слать дату хотите?

Сабина · Post by **Сабина** » 09 Dec 2014 00:46

Мальчик-Одуванчик wrote: Такое решение выглядит более чем странно. Если данные можно обработать не городя промежуточного слоя, то наиболее правильным, с моей точки зрения, будет обработка прямо на месте. Облако тут вообще не вперлось.

Где "тут" ?
В том что вы имеет в виду, но не описываете или в найденном мною примере ?

Мальчик-Одуванчик · 09 Dec 2014 00:52

Сабина wrote:
Мальчик-Одуванчик wrote: Такое решение выглядит более чем странно. Если данные можно обработать не городя промежуточного слоя, то наиболее правильным, с моей точки зрения, будет обработка прямо на месте. Облако тут вообще не вперлось.
Где "тут" ?
В том что вы имеет в виду, но не описываете или в найденном мною примере ?

Облако здесь (тут, в вашем примере ) лишнее. От слова вообще.

Vladimir1440 · Post by **Vladimir1440** » 09 Dec 2014 15:05

Мальчик-Одуванчик wrote:
Сабина wrote:
Мальчик-Одуванчик wrote: Такое решение выглядит более чем странно. Если данные можно обработать не городя промежуточного слоя, то наиболее правильным, с моей точки зрения, будет обработка прямо на месте. Облако тут вообще не вперлось.
Где "тут" ?
В том что вы имеет в виду, но не описываете или в найденном мною примере ?
Облако здесь (тут, в вашем примере ) лишнее. От слова вообще.

Вы неправы. Нет у нее лишнего промежуточного слоя обработки данныx. Вы когда-нибудь филд саппорт делали? Мотались по заказчикам с Блакберри на поясе?

Там тоже три слоя. На Блакберри - сотовый модем для связи с провайдером (как на любом смартфоне), и запущенный GPS. На неё - можно ставить аппликейшены точно так же как на любой андроид (только аппликейшны, написаные специально для нее). Среди аппликейшн есть кроxотная (даже не знаю как называется) красная "икона" на экране, которая с юзером никак не общается: кликая на неё, Вы просто можете включать/выключать передачу данныx с GPS Вашему Блакберри-провайдеру. Это - "первый слой".

У провайдера (которому Вы помесячно платите за связь с Интернетом, телефоном, Емейлом) есть сервер (который - просто xранит в базе телефонные номера, с которыx шли GPS-данные, и сами данные). Это - второй слой (сбор). Больше сервер - ничего не делает.

У Вашего менеджера в оффисе есть разные аппликейшны, в общем случае на разныx компаx (третий слой):

- BES (связь внутри-фирменного Е-мейла с мейлбоксами на мобилаx). Пересылает Вам на Блакберри Вашу почту.
- мэнеджмент-аппликейшн. Это - связь с провайдером: с какиx из Блакберрей - данные собирать, с какиx - нет, как часто, и т.д.
- аппликейшн для слежения: где на карте - какая Блакберри (и составления отчетов в в виде файлов). Берёт просто Google Maps, скачивает карту, и рисует на ней точки. Её юзер-интерфейс: просто сконфигурить запрос к серверу провайдера (какую Блакберри посмотреть, за какой отрезок времени, в каком масштабе карта, и т.д.). Запрос идёт на сервер провайдера, обратно - идут данные из базы, по данным - рисуется карта.

Три слоя:

- сбор данныx и передача.
- прием данныx и xранение.
- доступ к базе собранныx данныx с иx последующей обработкой.

Второй слой (сервер с базой) может быть как в облаке (PaaS), так и физической машиной: важно чтобы он где-то был, и "был всегда" (т.е. был на надёжном коннекшене: не у Вас в оффисе, а где-то на облаке, или физически стоять коллокейтнутым в дейтацентр). А то оборвется Интернет или электричество в оффисе - и прекратится сбор со всеx Блакберрей.

zVlad · Post by **zVlad** » 09 Dec 2014 16:32

Сабина wrote:
zVlad wrote: Ничего подобного. Просто я вспомнил сколько подобных тем Вы открыли и у меня вдруг появилась идея как это все в совокупности обяснить можно было бы. Ничего лично, просто идея. А что у нас осуждается выражать идеии? Сразу надо вешать ярлыки: "сноб по жизни", "кто-то куснул". Знаете наоборот на редкость удачный день был: и на тим митинге удачно выступил (со своими идеями, кстати), и с интересными людьми из ИБМ посидели в ресторане. Правда кухня в Канаде хреновая куда не попади - стейк сожгли, угли пришлось есть.
Каких подобных? Если вам открытые мною тему неинтересны - это еще не повод считать их подобными. И уж тем более не повод писать оскорбительные комментарии в мой адрес. У вас выдался удачный день и вы пошли на Привет людей оскорблять? Или это угли так аукнулись в организме что стало невмоготу? Way to go. Вынуждена вас разочаровать - у меня не просто есть идеи, а на них еще и компания патент файлит. И поговорить я сюда прихожу потому что в отличии от вас тут не одни хамы собрались, а вот с эрудицией как раз таки все пучком, бывает весьма интересно. Жаль Интеррапта и Co выжили, с ними было на порядки интереснее.

Я просмотрел три последних страницы тем созданных Вами в этом разделе. Их немало и большенство либо вопрос либо предложение обсудить Вашу точку зрения на что-нибудь весьма практичное, явно возникшее у Вас на работе.

Я не утверждаю что это предосудительно. Ради бога спрашивайте, делитесь - для того и форум. Но то что я это подметил вовсе не повод называть меня "хамом" и считать что я этим кого-либо оскорбляю.

Сабина · Post by **Сабина** » 09 Dec 2014 17:31

zVlad wrote:
Сабина wrote:
zVlad wrote: Ничего подобного. Просто я вспомнил сколько подобных тем Вы открыли и у меня вдруг появилась идея как это все в совокупности обяснить можно было бы. Ничего лично, просто идея. А что у нас осуждается выражать идеии? Сразу надо вешать ярлыки: "сноб по жизни", "кто-то куснул". Знаете наоборот на редкость удачный день был: и на тим митинге удачно выступил (со своими идеями, кстати), и с интересными людьми из ИБМ посидели в ресторане. Правда кухня в Канаде хреновая куда не попади - стейк сожгли, угли пришлось есть.
Каких подобных? Если вам открытые мною тему неинтересны - это еще не повод считать их подобными. И уж тем более не повод писать оскорбительные комментарии в мой адрес. У вас выдался удачный день и вы пошли на Привет людей оскорблять? Или это угли так аукнулись в организме что стало невмоготу? Way to go. Вынуждена вас разочаровать - у меня не просто есть идеи, а на них еще и компания патент файлит. И поговорить я сюда прихожу потому что в отличии от вас тут не одни хамы собрались, а вот с эрудицией как раз таки все пучком, бывает весьма интересно. Жаль Интеррапта и Co выжили, с ними было на порядки интереснее.
Я просмотрел три последних страницы тем созданных Вами в этом разделе. Их немало и большенство либо вопрос либо предложение обсудить Вашу точку зрения на что-нибудь весьма практичное, явно возникшее у Вас на работе.

Я не утверждаю что это предосудительно. Ради бога спрашивайте, делитесь - для того и форум. Но то что я это подметил вовсе не повод называть меня "хамом" и считать что я этим кого-либо оскорбляю.

Не позорьтесь уже и не начинайте отступную от произнесенных вами слов. Вы написали что я тут пишу чисто с целью почерпнуть идей, потому что у самой у меня их нет и я засчет других норовлю получить свою зарплату. Это совершенно необоснованный и весьма низкий наезд. Если вы это написали не подумав - извинения принимаются. Если это ваша точка зрения - то я останусь при своем мнении о причинах такого "плевка" в мой адрес

Alex S · Post by **Alex S** » 09 Dec 2014 17:44

Мальчик-Одуванчик wrote:Ну и нафига автобусу сливать свои координаты в облако?

Моя жена осталась временно без машины из-за аварии, ждать автобус на остановке приходится минут по 40, а так установила алпикейшен для телефона с интерактивным графиком и точно знает когда ей выйти и не мерзнуть на остановке.

Сабина · Post by **Сабина** » 09 Dec 2014 18:54

stenking wrote: Если вам хочется меньше головной боли, поддержку многих параллельных соеденений ( скажем 100К concurrent connections ), сильно изменяющегося траффика и обьёмы даты огого то можно использовать GAE, Parse например...но это может довольно дорого стоить. Можно самому запускать тот же spark или монго на кластере - много проблем, поддерживать нужно но дешевле для большой даты.

Спасибо кстати, почитала про Facebook Parse vs. GAE. В моем случае речь идет про industrial internet (собственно эта платформа и строится в нашем research) - поэтому выбран скорее всего будет вышеупомуанутый BlueMix. Хотя лично я бы выбрала GAE - уже вижу у них URI fetch and memcache, уверена что в ИBM-обском монстрике будет понапихано много heavy-weight-hardly-ever-used

Krys-Krys · Post by **Krys-Krys** » 09 Dec 2014 18:56

Alex S wrote:
Мальчик-Одуванчик wrote:Ну и нафига автобусу сливать свои координаты в облако?
Моя жена осталась временно без машины из-за аварии, ждать автобус на остановке приходится минут по 40, а так установила алпикейшен для телефона с интерактивным графиком и точно знает когда ей выйти и не мерзнуть на остановке.

+1
In Chicago all buses and subway trains had it. You install app on your phone and leave house only when the bus is close. Exceptionally useful app!

Krys-Krys · Post by **Krys-Krys** » 09 Dec 2014 19:05

zVlad wrote:
Сабина wrote:
zVlad wrote: Я не понял что Вы хотите сказать. Что я верно подметил и Вы нашли себе работу на 2-3 недели и срочно ищите подсказку как эту работу выполнить?

Я не про светлое будущее МФ пишу, а про светлое будущее с МФ. А с эрудитами, да, не густо, это Вы верно подметили. Такое впечатление складывается что с дворовой шпаной приходится иметь дело (не обо всех речь, есть и приятные люди в теме). Вам гораздо больше везет с этим.
Я хочу сказать что вы - или хам и сноб по жизни или вас кто-то сегодня куснул и вы пошли бросаться на других. Странно что приходится это дополнительно пояснять.
Ничего подобного. Просто я вспомнил сколько подобных тем Вы открыли и у меня вдруг появилась идея как это все в совокупности обяснить можно было бы. Ничего лично, просто идея. А что у нас осуждается выражать идеии? Сразу надо вешать ярлыки: "сноб по жизни", "кто-то куснул". Знаете наоборот на редкость удачный день был: и на тим митинге удачно выступил (со своими идеями, кстати), и с интересными людьми из ИБМ посидели в ресторане. Правда кухня в Канаде хреновая куда не попади - стейк сожгли, угли пришлось есть.

Why do you bother?

АццкоМото · Post by **АццкоМото** » 09 Dec 2014 19:07

stenking wrote:Я больше имел ввиду если скажем делаем эпп который шлёт свою локейшин каждую минуту и ориентируемся на 10М закачек и скажем 1М девайсов "онлайн". Допустим всё шлётся обыкновенным постом на сервер и занимает ну скажем 1 сек. Допускаем равномерную дистрибьюцию по времени и получаем 1,000,000 / 60 = 16К паралельных соединений в любом момент времени. Умножаем на 10 ( запас прочности ) = 160К threads. Пускай логика написана на JAVA и просто тупо пишет в базу. Всё равно 10MB RAM эпп сожрал. Средний сервер с 8gigami и скоко там cores обычно больше 1К запросов обрабатывает плохо. Я видел и 5К и даже 15К но это исключения. Всё равно нужно 10-ки, а скорее сотни серверов.

Это много - т.е. скажем GAE такое может scale без проблем ( сделает скажем 500 инстансев ) и всё.

Ну и писать дату в datastore - nosql от гугла, она хорошо заточенна именно на такие массивные вещи

Работы на один день. Плохо?

Конечно плохо! За 500 инстансов гуглосерверов на тривиальную задачу - за них же платить нужно. А "затык" тут в том, что пост - довольно дорогая операция, по крайней мере с SSL. да и сокетом хлопать каждую минуту - не айс. Вывод - сокет надо держать открытым максимально долго. По данным от WhatsApp, обычный мощный десктоп держит 2 мульйона коннекшенов и не жужжит. Тот же день работы, кстате.

АццкоМото · Post by **АццкоМото** » 09 Dec 2014 19:10

Мальчик-Одуванчик wrote:Ну и нафига автобусу сливать свои координаты в облако?

1. ну, например, для удобства пассажиров. даже в дремучем Владике такое сделали: http://bus125.ru/
2. из большого количества данных получается ценная аналитика. UPS своими данными с автобусов доставки некисло приторговывает

Сабина · Post by **Сабина** » 09 Dec 2014 19:15

Собственно дальнейшее раскапывание предмета обьясняет выбор BlueMix для данной задачи ( GPS based industrial grade asset tracking). Those in bold are not offered buy other cloud providers
http://searchcloudcomputing.techtarget. ... g-features

BlueMix has one of the better defined catalogs among current cloud providers. Because IBM based BlueMix on Cloud Foundry, there are some native Cloud Foundry services, as well as IBM's own services. The service catalog currently has a category called Boilerplates, which are complete application stacks that deploy all necessary components. These make it easier for developers to spin up apps; they select the concept they want and start coding. As of June, the boilerplates are:

Internet of Things
Java Web Starter
Mobile Cloud
Node.JS Web Starter
Node-Red
Java-DB Web Starter
In addition to boilerplates, the BlueMix catalog has a category called Runtimes that includes individual coding platforms. Some are IBM-developed, such as Liberty for Java and Node.JS, but others are based on open standards, such as Ruby on Rails and Ruby Sinatra. Cloud developers can also bring their own build pack/runtime....

АццкоМото · Post by **АццкоМото** » 09 Dec 2014 19:24

Нет такой штуки, как MobileCloud

Palych · Post by **Palych** » 09 Dec 2014 20:25

АццкоМото wrote:По данным от WhatsApp, обычный мощный десктоп держит 2 мульйона коннекшенов и не жужжит. Тот же день работы, кстате.

А номер TCP порта всё еще 16 бит?
Или как-то научились обходить ограничение на количество портов?

Post by **mitnlag** » 09 Dec 2014 20:29

Вот этот вопрос, Палыч, и отличает человека неподумавшего

А ведь его даже на интервью задают иногда, для разогрева.

Palych · Post by **Palych** » 09 Dec 2014 20:34

mitnlag wrote:Вот этот вопрос, Палыч, и отличает человека неподумавшего А ведь его даже на интервью задают иногда, для разогрева.

Не то чтобы не подумавши, я вообще не знаю правильный ответ на этот вопрос.

Мальчик-Одуванчик · 09 Dec 2014 20:59

АццкоМото wrote:
Мальчик-Одуванчик wrote:Ну и нафига автобусу сливать свои координаты в облако?
1. ну, например, для удобства пассажиров. даже в дремучем Владике такое сделали: http://bus125.ru/
2. из большого количества данных получается ценная аналитика. UPS своими данными с автобусов доставки некисло приторговывает

Речь шла о сборе, а не представлении данных.
Из того, что какая-то часть уже собранных и обработанных данных может предоставляться конечному пользователю
через облачные сервисы никоим образом не следует что в это облако нужно тащить вообще всё.

stenking · Post by **stenking** » 09 Dec 2014 21:07

АццкоМото wrote:По данным от WhatsApp, обычный мощный десктоп держит 2 мульйона коннекшенов и не жужжит. Тот же день работы, кстате.

Не верю (с) 2 мулиёна параллельных коннекшинов, релли?

Сабина · Post by **Сабина** » 09 Dec 2014 21:18

АццкоМото wrote:Нет такой штуки, как MobileCloud

Так это ж просто название, конкретно под этим подразумевается куча сервисов
http://qconrio.com/system/files/present ... nRioV2.pdf

в частности то что на картинке внизу например.
Детали mobile sdk тута
http://mbaas-gettingstarted.ng.bluemix.net/

АццкоМото · Post by **АццкоМото** » 09 Dec 2014 22:13

Сабина wrote:
АццкоМото wrote:Нет такой штуки, как MobileCloud
Так это ж просто название, конкретно под этим подразумевается куча сервисов
http://qconrio.com/system/files/present ... nRioV2.pdf

в частности то что на картинке внизу например.
Детали mobile sdk тута
http://mbaas-gettingstarted.ng.bluemix.net/

я понимаю, но люди, которые придумали это название страдают раком мозга
в далеком 1986 году американская роцк-группа "металисса" посвятила им песню - The thing that should not be
https://www.youtube.com/watch?v=bYJGt67Mwmo

Привет

Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis

Re: Gps tracking data analysis