Кто чего гоняет на работе?

[Sergunka]

Сижу тупо изучаю по списку. Начинает надоедать решил сделать опрос, чтоб сосредоточится на одном или двумя.

[assazello]

Кто все эти люди?!

[Komissar]

у меня в списке сплошные игры...

[SVK]

На "разойдись!" я сразу согласился,
И разошёлся. И расходился.

[valchkou]

Я бы выбрал сначала задачу, а под нее уже технологию.
Например для high volume writes and real time analitics я бы глянул на Cassandar + Spark.
Cейчас кстати начали пилотный проект на работе, чтобы выяснить что лучше подходит под наши задачи.
Разворачиваем Mango, Cassandra & Coachbase (не CoachDB) в разных датацентрах + AWS
О результатах доложу позже.

Вот картинка, которую я тут всем показываю на работе для наглядности
http://www.abramsimon.com/cap-theorem/

из нее видно что если цель сохранять миллион транзакций в секунду то манго не лучший кандидат.
но если volume не важен, а важно целостность данных, то возможно Mango.
Но даже и это не все, кассандра сейчас активно развивается, как сама DB с тучей дополнительных фитч, так и всякие тулзы для нее.
Я лично сделал сделал свою ставку.

[Sergunka]

Я бы выбрал сначала задачу, а под нее уже технологию.

Unfortunately it's not my choice but it seems to me pretty fair what's big shots suggested like below

[Likenew]

just started:
AWS
hadoop
hive

[valchkou]

но если volume не важен, а важно целостность данных, то возможно Mango.

просветите пожалуйста на эту тему. В МонгоДБ появилась referential integrity и транзакции ? Я что-то пропустил ?

integrity и транзакции - это немного другое. Я про volume и performance.

Манго пишет все через мастер и мастер только один, в этом и есть узкое мето. Упал мастер - давай досвидания.
Манго 3 вышел, пытаемся понять, какие там улучшения и как они поддерживают Active-Active архитектуру на нескольких DataCenters.
Пока не готов спорить на эту тему, может они что новое придумали.
Но в Mango 2 мастер может быть только в одном это плохо если клиенты по всему миру.

Cassandra не имеет master/slave, там все ноды мастеры и все одинаковы, потому writes расползаются по всем нодам (в зависимости от настроек) потому возможны миллионы вставок в секунду. и с Active-Active при этом никаких проблем нет вообще.
read/write liner scalability & no sigle point of failure

[kostik78]

Мы гоняем mysql + galera, postgres, riak и hadoop. Каждый зверь для своей конкретной задачи.

[Easbayguy]

Мы гоняем балду, в основном!

[Easbayguy]

но если volume не важен, а важно целостность данных, то возможно Mango.

просветите пожалуйста на эту тему. В МонгоДБ появилась referential integrity и транзакции ? Я что-то пропустил ?

integrity и транзакции - это немного другое. Я про volume и performance.

Манго пишет все через мастер и мастер только один, в этом и есть узкое мето. Упал мастер - давай досвидания.
Манго 3 вышел, пытаемся понять, какие там улучшения и как они поддерживают Active-Active архитектуру на нескольких DataCenters.
Пока не готов спорить на эту тему, может они что новое придумали.
Но в Mango 2 мастер может быть только в одном это плохо если клиенты по всему миру.

Cassandra не имеет master/slave, там все ноды мастеры и все одинаковы, потому writes расползаются по всем нодам (в зависимости от настроек) потому возможны миллионы вставок в секунду. и с Active-Active при этом никаких проблем нет вообще.
read/write liner scalability & no sigle point of failure

Вы пытались писать миллионы записей в секунду в Кассандру? Как достали эти мифы!

[valchkou]

Вы пытались писать миллионы записей в секунду в Кассандру? Как достали эти мифы!

в чем тут миф ? это же не один клиент пишет на один сервер, это все распределяется на кластер.
другой вопрос какого размера должен быть кластер чтобы такое осилить.
http://techblog.netflix.com/2011/11/ben ... ty-on.html

мое дело на данный момент выяснить пределы на небольшом кластере, миллиона мне конечно не видать, но 100к\сек надеюсь перекрыть.
о результатах доложу позже если кому интересно

[Easbayguy]

Вы пытались писать миллионы записей в секунду в Кассандру? Как достали эти мифы!

в чем тут миф ? это же не один клиент пишет на один сервер, это все распределяется на кластер.
другой вопрос какого размера должен быть кластер чтобы такое осилить.
http://techblog.netflix.com/2011/11/ben ... ty-on.html

мое дело на данный момент выяснить пределы на небольшом кластере, миллиона мне конечно не видать, но 100к\сек надеюсь перекрыть.
о результатах доложу позже если кому интересно

Удачи, как раз сейчас выводим из продакшин кассандровский кластер. Два года назад девелоперы сказали, что протестировали и Датастакс подтвердил что все будет нормально.

[valchkou]

Удачи, как раз сейчас выводим из продакшин кассандровский кластер. Два года назад девелоперы сказали, что протестировали и Датастакс подтвердил что все будет нормально.

в чем оказались грабли и на что перезжаете?

[Easbayguy]

Удачи, как раз сейчас выводим из продакшин кассандровский кластер. Два года назад девелоперы сказали, что протестировали и Датастакс подтвердил что все будет нормально.

в чем оказались грабли и на что перезжаете?

Неоправдавщиеся ожидания по надежности/размеру кластера/удобства использования.
Выросло поколение народа скачущих из компании в компанию и оставляющих руины после себя.

[valchkou]

Че тока люди не придумают, чтобы SQL не учить

SQL никуда не уходит, так же продолжает использоваться поверх NoSQL DB, только с небольшими доработками.

[valchkou]

Небольшая выборка по indeed (jobs by db keyword )

Cassandra 3605
HBase 2646
Redis 2627
Mongo 1278
CouchBase 587
CouchDB 457
Riak 394

Несмотря на многочисленные жалобы форумчан кассандра лидирует с небольшим отрывом.
(Хотя может и жалоб больше потому что пользователей больше ?)

А теперь для сравнения
Oracle 61707
MySql 19161

И в общем
SQL 134245
NoSQL 8928

[Kolbasoff]

у меня в списке сплошные игры...

Уйди, праативный...

Мы гоняем балду, в основном!

И ты уйди, мразиш ДБА...

[Kolbasoff]

Выросло поколение народа скачущих из компании в компанию и оставляющих руины после себя.

Золотые слова, Юрий Венедиктович, золотые часы.

[Alexandr]

А riak где?

[Kirhist]

Вы пытались писать миллионы записей в секунду в Кассандру? Как достали эти мифы!

в чем тут миф ? это же не один клиент пишет на один сервер, это все распределяется на кластер.
другой вопрос какого размера должен быть кластер чтобы такое осилить.
http://techblog.netflix.com/2011/11/ben ... ty-on.html

мое дело на данный момент выяснить пределы на небольшом кластере, миллиона мне конечно не видать, но 100к\сек надеюсь перекрыть.
о результатах доложу позже если кому интересно

До миллиона пока не дошли, но 100к достигается довольно легко. Но зависит от задачи конечно...

P.S. А где HBase и иже с ними? У нас в компании Hadoop активно двигают...

[Kirhist]

Удачи, как раз сейчас выводим из продакшин кассандровский кластер. Два года назад девелоперы сказали, что протестировали и Датастакс подтвердил что все будет нормально.

в чем оказались грабли и на что перезжаете?

Неоправдавщиеся ожидания по надежности/размеру кластера/удобства использования.
Выросло поколение народа скачущих из компании в компанию и оставляющих руины после себя.

Если не секрет, в чем проблемы с надежностью?

[Сабина]

Небольшая выборка по indeed (jobs by db keyword )

Cassandra 3605
HBase 2646
Redis 2627
Mongo 1278
CouchBase 587
CouchDB 457
Riak 394

Несмотря на многочисленные жалобы форумчан кассандра лидирует с небольшим отрывом.
(Хотя может и жалоб больше потому что пользователей больше ?)

А теперь для сравнения
Oracle 61707
MySql 19161

И в общем
SQL 134245
NoSQL 8928

Познакомилась на днях с региональным менеджером по риаку. Говорят что они в отличии от других key value store на рекламу не налегают, но имеют массу крупных хорошо платящих клиентов. Тихо и верно делают свое дело.
Я спросила а чего ж это их многообещающий сервис у нас постоянно падает под клауд фандри изза банального disk out of space. А вы говорит ребята мониторить грамотно не умеете

[valchkou]

основной недостаток риак в том что они денег хотят за enterprise версию, которая позволяет "Multi-datacenter replication"
та же кассандра предоставляет эту фишку из коробочки и забесплатно.
конечно подсадив несколько крупных клиентов можно долго сосать из них средства на саппорт, потому риак развиваться будет.
но я не верю что он сможет перебить или хотябы догнать кассандру с монгой в обозримом будующем.
А скорее всего разрыв только будет увеличиваться, судя по статистике.

Database, Jobs, Initial release

Cassandra, 3605, 2008
HBase, 2646, 2009
Redis, 2627, 2009
MongoDB, 1278, 2009
CouchBase, 587, 2010
CouchDB, 457, 2005
Riak, 394, 2009

[Сабина]

Я бы выбрал сначала задачу, а под нее уже технологию.

Unfortunately it's not my choice but it seems to me pretty fair what's big shots suggested like below
...

Кстати, Сергунька, вся эта агитация за CF - она в основном исходит от зависящих шопов: VMWare, GE etc. Большинство народа особенно в стартапах предпочитает на худой конец чистый OpenStack А так все везде руками лазят в AWS и недешевые продукты-сервисы используют по минимуму. Моими знаниями bosh cli нигде кроме vmware не заинтересовались. А вот знай я хорошо Докер или ту же Кафку интерес бы был на порядки выше