Redshift ? Anybody?

[Сабина]

subj

[geek7]

subj

в чем собственно вопрос?
у нас на него посматривали, но пока не начнут поддерживать on-prem. HSM в продакшене все равно нельзя.. а так на замену greenplum присматривали.

[Сабина]

subj

в чем собственно вопрос?
у нас на него посматривали, но пока не начнут поддерживать on-prem. HSM в продакшене все равно нельзя.. а так на замену greenplum присматривали.

Забавная штука интересная, но уж очень нетрадиционная. Прямо сейчас хочу понять как на уровне connection pool можно увеличить number of concurrent queries. Вижу как это делают на сессию примитвным set to higher, потом set to lower под конец операции. А мне бы надо чтобы было глобально для всего конекшен пула

[Dweller]

сыроват redshift, недавно надо было транспонировать датасет т.е. сделать из рекордов колонки а там нет такой возможности

[Сабина]

сыроват redshift, недавно надо было транспонировать датасет т.е. сделать из рекордов колонки а там нет такой возможности

comma separate with copy command

[az44]

Вот неплохой обзор Redshift: https://www.xplenty.com/blog/2015/03/am ... view-2015/" onclick="window.open(this.href);return false;

Пишут что подтормаживает на joins. А с ростом количества запросов производительность проседает нелинейно.
Мы смотрели на Redshift но не решились. С заливкой real-time stream данных были проблемы.

Сабина, у Вас какой опыт вырисовывается?

[Сабина]

Вот неплохой обзор Redshift: https://www.xplenty.com/blog/2015/03/am ... view-2015/" onclick="window.open(this.href);return false;

Пишут что подтормаживает на joins. А с ростом количества запросов производительность проседает нелинейно.
Мы смотрели на Redshift но не решились. С заливкой real-time stream данных были проблемы.

Сабина, у Вас какой опыт вырисовывается?

- очень важно дизайнить таблицы правильно, тут знания rdbms можно сразу выкинуть и читать про то как данные распределяются в кластере - distribution key, sort key.
- то же самое query tuning. Он вроде и Postgres с одной стороны, но с другой совсем нет. Например where Id in (1,2,3,) работает на порядки медленнее having id in (...). "Between" в where clause вообще тормозной , лучше два binary conditions (>,<) и так далее
- Он делает чудеса если нужно прогнать аналитический квери а таблице в миллионы рекордов, работает также быстро как если попросить select * where I'd =1 . Но если надо запускать кучу small queries concurrency практически никакая, max connections in connection pool 40, причем recommended 15). Там есть query queues которыми по идее можно манипулировать и default concurrency в queue вообще 5. Манипуляции тоже небезопасны - ими по сути отнимается ресурс у другого клиента ( because you are allocating more memory). Я все недоумевала что вот тебе и scaling, но это все таки Classic warehouse solution, на нем отлично гонять долгие аналитические отчёты. А для тех же вебтранзакций Dynamo DB куда больше подходит

[Сабина]

C джойнами там пипец - медленные, хотя может можно подкрутить keys но у меня мало совсем опыта

[Сабина]

Вот неплохой обзор Redshift: https://www.xplenty.com/blog/2015/03/am ... view-2015/" onclick="window.open(this.href);return false;

Пишут что подтормаживает на joins. А с ростом количества запросов производительность проседает нелинейно.
Мы смотрели на Redshift но не решились. С заливкой real-time stream данных были проблемы.

Сабина, у Вас какой опыт вырисовывается?

Чем заливали ? Спарком ?
Мы тут все на Kinesis посматриваем. В этом видео где то с 35-й минуты пример реальной архитектуры old and new, цифры впечатляют. Плюс там все хорошо в связке работает consumer, producer library, вся ingestion pipeline настроена как скрипка. Первые 35 минут - технические детали всех этих библиотек и pipeline в целом.

https://www.youtube.com/watch?v=JFfvD2cw2IE" onclick="window.open(this.href);return false;

[Dweller]

сыроват redshift, недавно надо было транспонировать датасет т.е. сделать из рекордов колонки а там нет такой возможности

comma separate with copy command

т.е. за пределами обычного синтаксиса? с помощью примочек?

[Сабина]

сыроват redshift, недавно надо было транспонировать датасет т.е. сделать из рекордов колонки а там нет такой возможности

comma separate with copy command

т.е. за пределами обычного синтаксиса? с помощью примочек?

Нет вроде, обычная copy command, которой все делают импорт, просто опцию добавояешь delimiter ","

[Леонид Ильич Брежнев]

C джойнами там пипец - медленные, хотя может можно подкрутить keys но у меня мало совсем опыта

С джоинтами у всех практически плохо, кроме RDBMS.
И моду взяли, пихать ходуп везде, даже там где простейший grep будет работать.

[Сабина]

C джойнами там пипец - медленные, хотя может можно подкрутить keys но у меня мало совсем опыта

С джоинтами у всех практически плохо, кроме RDBMS.
И моду взяли, пихать ходуп везде, даже там где простейший grep будет работать.

А куда в Редшифте запихнули Ходуп ?

[Сабина]

C джойнами там пипец - медленные, хотя может можно подкрутить keys но у меня мало совсем опыта

С джоинтами у всех практически плохо, кроме RDBMS.
И моду взяли, пихать ходуп везде, даже там где простейший grep будет работать.

А куда в Редшифте запихнули Ходуп ?

[John Smith]

C джойнами там пипец - медленные, хотя может можно подкрутить keys но у меня мало совсем опыта

С джоинтами у всех практически плохо, кроме RDBMS.
И моду взяли, пихать ходуп везде, даже там где простейший grep будет работать.

А куда в Редшифте запихнули Ходуп ?

нет его там, а то бы все ползало, как в Hive

[Леонид Ильич Брежнев]

Не, Redshift пошустрее будет чем Hive: http://nerds.airbnb.com/redshift-performance-cost/" onclick="window.open(this.href);return false;

Sabina: Дело, не в конкретном хадупе, дело в в том что его пихают и куда надо и куда не надо.

[geek7]

C джойнами там пипец - медленные, хотя может можно подкрутить keys но у меня мало совсем опыта

С джоинтами у всех практически плохо, кроме RDBMS.
И моду взяли, пихать ходуп везде, даже там где простейший grep будет работать.

А куда в Редшифте запихнули Ходуп ?

Я думаю это ворчание вообще а не про Редшифт.

[geek7]

Не, Redshift пошустрее будет чем Hive: http://nerds.airbnb.com/redshift-performance-cost/" onclick="window.open(this.href);return false;

Sabina: Дело, не в конкретном хадупе, дело в в том что его пихают и куда надо и куда не надо.

В смысле разные бигдаты используют там, где они нафиг не нужны и RDBMS будет самое то?

[Сабина]

Не, Redshift пошустрее будет чем Hive: http://nerds.airbnb.com/redshift-performance-cost/" onclick="window.open(this.href);return false;

Sabina: Дело, не в конкретном хадупе, дело в в том что его пихают и куда надо и куда не надо.

Понятно, то есть ваша Ильичёвская паранойя. Если есть чего бы не пихать ? Предсьавьте к вам бы кто нибудь подошёл и сказал "а наука иди обратно на 32 бита, тебе 64 для твоих задач совершенно не нужно ?
Редшифт забавный энимал, ничего не скажу . Плюсов пока больше чем минусов.

[Сабина]

Не, Redshift пошустрее будет чем Hive: http://nerds.airbnb.com/redshift-performance-cost/" onclick="window.open(this.href);return false;

Sabina: Дело, не в конкретном хадупе, дело в в том что его пихают и куда надо и куда не надо.

В смысле разные бигдаты используют там, где они нафиг не нужны и RDBMS будет самое то?

Просто наверное стоит отличать Hadoop и собственно other HDFS based technologies. Да и Big data настолько больше чем просто не RDBMS. А вообще вы на больной мозоль наступили, я про это могу часами

[geek7]

Предсьавьте к вам бы кто нибудь подошёл и сказал "а наука иди обратно на 32 бита, тебе 64 для твоих задач совершенно не нужно ?

а почему нет? другое дело что в большинстве случаев возится с это 32, это 64 менее выгодно чем делать все на 64

[Сабина]

Предсьавьте к вам бы кто нибудь подошёл и сказал "а наука иди обратно на 32 бита, тебе 64 для твоих задач совершенно не нужно ?

а почему нет? другое дело что в большинстве случаев возится с это 32, это 64 менее выгодно чем делать все на 64

Во многих конторах где я работала была другая pain - они пытались гнаться за конкурентами и продакт приходит в один день и говорит а сейчас мне надо чтобы у меня ... ( дальше идёт какой нибудь requirement из серии almost real time event processing). После чего получается что данные надо собирать и анализировать не раз в день, а раз в пять минут. А у них все небыстрое и немасштабируемое.
Поэтому новые компании, особенно стартапы, сразу строят с расчетом на это. Да, может прямо сейчас вам хватает того что есть, а может завтра уже нет. Я этот стартап джойнила, думала да у них вон и Kafka и EMR cluster и Spark. И тут же под мой первый проект оказалось что существующая архитектура "не тянет". От этого и желание запрыгнут на вагон latest and greatest поскорее. А EMR cluster( аналогия про "64 бита" этот вон пожалуйста сидит ждёт в облаке. Чего бы сразу туда не поставить все чем мордоваться и лепить какой нибудь процессинг на Postgres чтобы завтра все переделывать?

[Леонид Ильич Брежнев]

Понятно, то есть ваша Ильичёвская паранойя. Если есть чего бы не пихать ?

Вы простите, инженер или просто builder собственного резюме?

[Сабина]

Понятно, то есть ваша Ильичёвская паранойя. Если есть чего бы не пихать ?

Вы простите, инженер или просто builder собственного резюме?

По изначально вами сказанной фразе очень трудно уловить свзяь со мной лично и с моим резюме в частности . Но если что Хадупа у меня там нету

И моду взяли, пихать ходуп везде, даже там где простейший grep будет работать.

[geek7]

Предсьавьте к вам бы кто нибудь подошёл и сказал "а наука иди обратно на 32 бита, тебе 64 для твоих задач совершенно не нужно ?

а почему нет? другое дело что в большинстве случаев возится с это 32, это 64 менее выгодно чем делать все на 64

Во многих конторах где я работала была другая pain - они пытались гнаться за конкурентами и продакт приходит в один день и говорит а сейчас мне надо чтобы у меня ... ( дальше идёт какой нибудь requirement из серии almost real time event processing). После чего получается что данные надо собирать и анализировать не раз в день, а раз в пять минут. А у них все небыстрое и немасштабируемое.
Поэтому новые компании, особенно стартапы, сразу строят с расчетом на это. Да, может прямо сейчас вам хватает того что есть, а может завтра уже нет. Я этот стартап джойнила, думала да у них вон и Kafka и EMR cluster и Spark. И тут же под мой первый проект оказалось что существующая архитектура "не тянет". От этого и желание запрыгнут на вагон latest and greatest поскорее. А EMR cluster( аналогия про "64 бита" этот вон пожалуйста сидит ждёт в облаке. Чего бы сразу туда не поставить все чем мордоваться и лепить какой нибудь процессинг на Postgres чтобы завтра все переделывать?

RDBMS не синоним небыстрое и не масштабируемое, вр многих случаях есть достаточный запас масштабируемости или вынести нужно очень небольшой кусок схемы.
а то для чего изначально выбрали Postgres действительно оптимально решать EMR или таки это и есть то для чего редшифт понадобился?