Amazon’s Highly Available Key-value Store

Kirhist
Новичок
Posts: 66
Joined: 04 Mar 2012 10:35

Re: Amazon’s Highly Available Key-value Store

Post by Kirhist »

kostik78 wrote: Вот тут такое на cassandra брешут. Это правда ?
In the event of server failures and network problems, Riak is designed to always accept read and write requests, even if the servers that are ordinarily responsible for that data are unavailable.

Cassandra will allow writes to (optionally) be stored on alternative servers, but will not allow that data to be retrieved. Only after the cluster is repaired and those writes are handed off to an appropriate replica server (with the potential data loss that timestamp-based conflict resolution implies, as discussed earlier) will the data that was written be available to readers.
Если да то это серьезное ограничение которое при проектировании нужно учитывать. В Riak можно решить как действовать в зависимости от данных. То бишь гибкость имеется.
Тут авторы или сознательно лукавят или не понимают архитектуру. Это только в случае если все реплики не доступны (их как правило 3 на датацентр). Выше это в общем-то объяснили уже.
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: Amazon’s Highly Available Key-value Store

Post by Сабина »

Kirhist wrote:К нам в контору приходили представители и тех и других, и надо сказать Cassandra team выглядела гораздо уверенней и солиднее. На прямой вопрос про преимущество Riak по сравнению с Cassandra толком ничего не было сказано, кроме как легкость администрирования. Так же смущает отсутствие хороших бенчмарков Riak, да и развивается C* гораздо активнее. Сравнить в продакшин к сожалению не было возможности, работаем пока только с Cassandra и Hadoop.
Я слушала Riak персонально- они принципиально никому нe навязываются. Что может быть а) глупость , b) мудрость, если у них уже есть достаточно paying clients ( а их таки есть и немало)

Я думаю что мы ( ака простые смертные) правду узнаем только на деле и на степень распушенности хвоста ( сколько отпушено на ad campaign) должны уметь забивать
https://www.youtube.com/watch?v=wOwblaKmyVw
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: Amazon’s Highly Available Key-value Store

Post by Сабина »

Сабина wrote:
kostik78 wrote:Насколько я понял из приведенного мной фрагмента сравнения Riak and Cassandra в случае выпадания server 1 из кластера, Cassandra будет отклонять чтения данных которые являются частью ring part A, part B & C останутся не тронутыми. Я правильно понял или нет? Если все так, то мой комент про существенные ограничения которые нужно учитывать остается в силе, иначе нет :)
Я тут учу что и Кассандра и Риак - они оба АР из САР теоремы :). Получается один ограниченнее другого но по сути похоже?
На самом деле давно пора изобррести теорему: SPF

Нет это не про sunscreen, это Scalability-Performance-Functionality.

Тогда RDBMS будут в явном проигрыше будучи только "F" and who knows what "F" means exactly :mrgreen:
SP still looks attractive as long as it keep diving IT needs nowdays
https://www.youtube.com/watch?v=wOwblaKmyVw
kostik78
Уже с Приветом
Posts: 3175
Joined: 17 May 2007 14:07

Re: Amazon’s Highly Available Key-value Store

Post by kostik78 »

Сабина wrote:
Я слушала Riak персонально- они принципиально никому нe навязываются. Что может быть а) глупость , b) мудрость, если у них уже есть достаточно paying clients ( а их таки есть и немало)

Я думаю что мы ( ака простые смертные) правду узнаем только на деле и на степень распушенности хвоста ( сколько отпушено на ad campaign) должны уметь забивать
Они не навязываються и ведут вполне себя профессионально. Это мой личный опыт. И проблем с ихним продуктом у нас лично нет.
kostik78
Уже с Приветом
Posts: 3175
Joined: 17 May 2007 14:07

Re: Amazon’s Highly Available Key-value Store

Post by kostik78 »

Kirhist wrote: К нам в контору приходили представители и тех и других, и надо сказать Cassandra team выглядела гораздо уверенней и солиднее. На прямой вопрос про преимущество Riak по сравнению с Cassandra толком ничего не было сказано, кроме как легкость администрирования. Так же смущает отсутствие хороших бенчмарков Riak, да и развивается C* гораздо активнее. Сравнить в продакшин к сожалению не было возможности, работаем пока только с Cassandra и Hadoop.
А чем Вы солидность опеределяете? Например были у нас ребята из ScaleArc - вели себя довольно солидно и выглядило что ихнее решение обсалютно то что нам нужно. На POC вылезли такие "сюрпризы" что я был в шоке что кроме нас никто их не ловил раньше в чем сильно я сомневаюсь. То бишь продукт то сырой. С другой стороны Percona - распросили что мы хотим и какой у нас лоад и выдали нам 3 решения бесплатные и платные с плюсами и минусами - выбирай не хочу. Хотя вели себя по простому. И кто по Вашему в данном примере солиднее ? Тот кто сейлс спич умеет говорит или тот кто просто делает свое дело. Так вот Basho imho делает просто свое дело.

Про бенчмарки Вы можете построить сами. Basho предоставляет Вам лоад генератор, который будет симулировать именно Ваш лоад который Вы проектируете.
Kirhist
Новичок
Posts: 66
Joined: 04 Mar 2012 10:35

Re: Amazon’s Highly Available Key-value Store

Post by Kirhist »

kostik78 wrote: А чем Вы солидность опеределяете? Например были у нас ребята из ScaleArc - вели себя довольно солидно и выглядило что ихнее решение обсалютно то что нам нужно. На POC вылезли такие "сюрпризы" что я был в шоке что кроме нас никто их не ловил раньше в чем сильно я сомневаюсь. То бишь продукт то сырой. С другой стороны Percona - распросили что мы хотим и какой у нас лоад и выдали нам 3 решения бесплатные и платные с плюсами и минусами - выбирай не хочу. Хотя вели себя по простому. И кто по Вашему в данном примере солиднее ? Тот кто сейлс спич умеет говорит или тот кто просто делает свое дело. Так вот Basho imho делает просто свое дело.
Навязывание мне тоже не нравиться. И хотя sales manager у C* на самом деле был более настойчивый, но ничего надоедливого. На меня больше подействовали их инженеры, их умение объяснить архитектуру, как работает С* и в чем конкретно ее преимущество перед другими системами применительно к нашему проекту. Так же они были откровенны какие фичи будут работать, а на какие лучше не рассчитывать (secondary indexes, in-memory table).
kostik78 wrote: Про бенчмарки Вы можете построить сами. Basho предоставляет Вам лоад генератор, который будет симулировать именно Ваш лоад который Вы проектируете.
Любые бенчмарки можно провести самому (у С* тоже есть стресс-тест). Вот только когда выбираешь из 10-ки систем то все не протестируешь...

Я не доказываю, что Riak плохая система, но имхо С* выглядит намного перспективнее и функциональнее.
kostik78
Уже с Приветом
Posts: 3175
Joined: 17 May 2007 14:07

Re: Amazon’s Highly Available Key-value Store

Post by kostik78 »

Kirhist wrote: Любые бенчмарки можно провести самому (у С* тоже есть стресс-тест). Вот только когда выбираешь из 10-ки систем то все не протестируешь...
На самом деле единственный вариант выбрать правильно это протестировать самому под свою задачу. Для этого и есть POC. Все остально аппроксимация.
Kirhist wrote: Я не доказываю, что Riak плохая система, но имхо С* выглядит намного перспективнее и функциональнее.
А я верю в Riak and Erlang. :fr: В последний я кстати "влюбился" после того как поработал с ним. Если правильно его применять то качество и скорость разработки просто поражает. Мне есть с чем сравнивать я начал профессионально программировать на Pascal -> С/С++ -> Java. Для построения распределенной, отлично scalable (vertical and horizontal), fault tolerant system Erlang самое то ;) Всякие Scala это уже попытки "догнать" платформу которая развивается уже почти 30 лет ;) Это мое imho.
User avatar
Леонид Ильич Брежнев
Уже с Приветом
Posts: 8632
Joined: 22 Mar 2011 01:40

Re: Amazon’s Highly Available Key-value Store

Post by Леонид Ильич Брежнев »

Константин, я Вам попробую расписать на неделе, как я это вижу, и как это есть на самом деле (в контексте беседе о Кассандре выше).
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: Amazon’s Highly Available Key-value Store

Post by Сабина »

Никто не наведет на путь истинный какие самые популярные способы хранить timeseries for node.js web app ?

Нашла пример с Redis - все просто до безобразия но непонятно с чем работает? С raw data? А если эти timeseries надо еше по ходу reduce, aggregate etc и только потом вытаскивать сервисом ?
https://github.com/tonyskn/node-redis-timeseries" onclick="window.open(this.href);return false;
https://www.youtube.com/watch?v=wOwblaKmyVw
User avatar
valchkou
Уже с Приветом
Posts: 4195
Joined: 27 Apr 2011 03:43
Location: Сергели ->Chicago

Re: Amazon’s Highly Available Key-value Store

Post by valchkou »

Сабина wrote:Никто не наведет на путь истинный какие самые популярные способы хранить timeseries for node.js web app ?
чем timeseries for node.js отличается от timeseries for другие фреймворки?
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: Amazon’s Highly Available Key-value Store

Post by Сабина »

valchkou wrote:
Сабина wrote:Никто не наведет на путь истинный какие самые популярные способы хранить timeseries for node.js web app ?
чем timeseries for node.js отличается от timeseries for другие фреймворки?
Может есть advantage of using one over the other? Есть же в природе mean stack? Чем timeseries хуже :)?
https://www.youtube.com/watch?v=wOwblaKmyVw
User avatar
Леонид Ильич Брежнев
Уже с Приветом
Posts: 8632
Joined: 22 Mar 2011 01:40

Re: Amazon’s Highly Available Key-value Store

Post by Леонид Ильич Брежнев »

timestamsp что ли?
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: Amazon’s Highly Available Key-value Store

Post by Сабина »

Леонид Ильич Брежнев wrote:timestamsp что ли?

https://en.wikipedia.org/wiki/Time_series" onclick="window.open(this.href);return false;
https://www.youtube.com/watch?v=wOwblaKmyVw
User avatar
Леонид Ильич Брежнев
Уже с Приветом
Posts: 8632
Joined: 22 Mar 2011 01:40

Re: Amazon’s Highly Available Key-value Store

Post by Леонид Ильич Брежнев »

Ну набор data points, или я чего не понял? Как хранить? Наверное в json-ом листе (node.js хорошо интегрированны с json). Ничем существенно не отличается от листов/массивов в других языках. Или я не понял вопроса.

Return to “Вопросы и новости IT”