JSON dedup

[Сабина]

Никому не приходилось решать подобную задачу ? Для данного request URL нужно получить несколько раз подрял JSON response и определить эдентичны они или нет ? Нужно какое-нибудь очень простое решение и очень scalable. AWS based.
Была мысль построить простенький вебсервис на Ноде, который будет перехватывать request, получать response, расcчитвать hash of stringified JSON и делать lookup в Dynamo DB. Если такой уже в базе есть - заменять actual response на какую нибудь ошибку - "дубликат бла бла".
Сказали что hash стринга это плохо, потому что поля могут поменяться местами ( чего в реальной жизни в этом API не наблюдалось).
Интересно какие еще возможны варианты ?

[Medium-rare]

А чем нибудь "съесть" это JSON и нормализовать через функцию, например, дать, скажем, компактное представление. Функция одна и та же будет для всех "компактов", одинаковый подход гарантирован. Тогда строка с функционально одинакового JSON будет гарантировано одинаковой.

[Сабина]

А чем нибудь "съесть" это JSON и нормализовать через функцию, например, дать, скажем, компактное представление. Функция одна и та же будет для всех "компактов", одинаковый подход гарантирован. Тогда строка с функционально одинакового JSON будет гарантировано одинаковой.

И что эта QT-шная функция будет всегда и порядок элементов выдавать одинаковый ? Даже если они в самом API могут быть периодически переставлены ?

[Леонид Ильич Брежнев]

json diff ?

[Medium-rare]

И что эта QT-шная функция будет всегда и порядок элементов выдавать одинаковый ? Даже если они в самом API могут быть периодически переставлены ?

КМК, в разных фреймворках представление документа трансормируется внутри в "дерево" с элементами, может, и уровни сортируя,. Ну, а раз нам дают снова строчку получить, то можно попробовать, нарочно переставив какие-то элементы JSON на одном уровне?

[Palych]

Никому не приходилось решать подобную задачу ? Для данного request URL нужно получить несколько раз подрял JSON response и определить эдентичны они или нет ? Нужно какое-нибудь очень простое решение и очень scalable. AWS based.
Была мысль построить простенький вебсервис на Ноде, который будет перехватывать request, получать response, расcчитвать hash of stringified JSON и делать lookup в Dynamo DB. Если такой уже в базе есть - заменять actual response на какую нибудь ошибку - "дубликат бла бла".

Как-то не очень scalable выглядит... А может в "консерватории" что-то поменять?
Починить клиента, чтобы не повторялся, или наоборот - при записи в storage сервиса отлавливать дубликат?...

Сказали что hash стринга это плохо, потому что поля могут поменяться местами ( чего в реальной жизни в этом API не наблюдалось).

Если есть доверие к клиенту - можно и так, а ещё лучше бы какой-то ID выделить для запросов и сравнивать их...

[Сабина]

Никому не приходилось решать подобную задачу ? Для данного request URL нужно получить несколько раз подрял JSON response и определить эдентичны они или нет ? Нужно какое-нибудь очень простое решение и очень scalable. AWS based.
Была мысль построить простенький вебсервис на Ноде, который будет перехватывать request, получать response, расcчитвать hash of stringified JSON и делать lookup в Dynamo DB. Если такой уже в базе есть - заменять actual response на какую нибудь ошибку - "дубликат бла бла".

Как-то не очень scalable выглядит... А может в "консерватории" что-то поменять?
Починить клиента, чтобы не повторялся, или наоборот - при записи в storage сервиса отлавливать дубликат?...

Сказали что hash стринга это плохо, потому что поля могут поменяться местами ( чего в реальной жизни в этом API не наблюдалось).

Если есть доверие к клиенту - можно и так, а ещё лучше бы какой-то ID выделить для запросов и сравнивать их...

Увы, но это не вариант когда вы можете слелать только poll, не push

[Palych]

То есть - несколько сосков к одной емкости?

[Сабина]

ага заметила только что "при записи в сторедж сервиса отлавливать дубликат". О каком сервисе речь ? Если о том который дает JSON response, то там без вариантов - 3rd party, only poll и никаких вариантов насчет "в консерватории что то поменять". если о том который опрашивает эти 3rd party APIs , дороговато получается тащить all the way to storage. один AWS EMR cluster чего стоит

[Сабина]

То есть - несколько сосков к одной емкости?

не только это. грубо говоря надо "отловить момент когда данные поменялись, но лишние дубликаты не записывать".
тащить эти дубликаты all the way to storage выходит дороговато с точки зрения $$$$ и собственно storage resources.

[Palych]

Если JSON содержит только информацию об изменении (что и где поменялось) - такие запросы не будут уникальными.
Если сосать такие транзакции в несколько соломинок и не удалять запись сразу после отсоса - задача дедупа мне видится не выполнимой в принципе...

[Medium-rare]

Не лезя в scalability, в Qt можно просто сравнить два JSON:
http://doc.qt.io/qt-5/qjsondocument.html#operator-eq-eq" onclick="window.open(this.href);return false;

bool QJsonDocument::operator==(const QJsonDocument &other) const

Returns true if the other document is equal to this document.

Code: Select all

if (jsonDoc1 == jsonDoc2)
{
   // no way
}

Очень возможно, что в других фреймворках это тоже есть.

[Сабина]

Задача оказалась еще проще чем я думала ! некоторые APIs (FB в частности ) возвращает уникальный хешкод как одно из свойств в ответе.

[Palych]

"Где просто - там ангелов сО сто..."

[Sergunka]

Задача оказалась еще проще чем я думала ! некоторые APIs (FB в частности ) возвращает уникальный хешкод как одно из свойств в ответе.

В случае с json это может и не прокатить.

[Сабина]

Задача оказалась еще проще чем я думала ! некоторые APIs (FB в частности ) возвращает уникальный хешкод как одно из свойств в ответе.

В случае с json это может и не прокатить.

В этом случае это покатит лучше чем что либо другое