AWS Redshift - как сделать иммитацию DB trigger ?

Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

AWS Redshift - как сделать иммитацию DB trigger ?

Post by Сабина »

Как я понимаю Redshift - это урезанный по функциональности postresSQL и в частности не имеет триггеров .
Никому не приходилось имплементировать подобие триггеров на redshift? Как я понимаю один из вариантов - периодический data poll и проверка, но он мне не очень нравится. Народ еще пишет про применение AWS Lambda где можно подобные вещи делать написав функции.
Если кто делал - подскажите с чего начать
https://www.youtube.com/watch?v=wOwblaKmyVw
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: AWS Redshift - как сделать иммитацию DB trigger ?

Post by Сабина »

Сабина wrote:Как я понимаю Redshift - это урезанный по функциональности postresSQL и в частности не имеет триггеров .
Никому не приходилось имплементировать подобие триггеров на redshift? Как я понимаю один из вариантов - периодический data poll и проверка, но он мне не очень нравится. Народ еще пишет про применение AWS Lambda где можно подобные вещи делать написав функции.
Если кто делал - подскажите с чего начать
Задам вопрос по другому. Может знатоки Спарка чего подскажут. Данные в редшифт вставляются Спарком( ETL). Возможно имеет смысл после очередных inserts просто проверять триггеры как часть ETL процесса?
Тут не совсем ясен performance impact ? И еще наверняка Спарк вставляет записи батчами, тоже получается не проверишь пока батч полностью не закомичен
https://www.youtube.com/watch?v=wOwblaKmyVw
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: AWS Redshift - как сделать иммитацию DB trigger ?

Post by Сабина »

Если кому интересно redshift на днях выпустил UDF support. Очень полезно для всяких analytics
https://www.youtube.com/watch?v=wOwblaKmyVw
User avatar
АццкоМото
Уже с Приветом
Posts: 15276
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: AWS Redshift - как сделать иммитацию DB trigger ?

Post by АццкоМото »

Поговорив сама с собой, Сабина была приятно удивлена, что заранее знала, что себе скажет и как ответит ;)

Sent from my Nexus 6 using Tapatalk
Мат на форуме запрещен, блдж!
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: AWS Redshift - как сделать иммитацию DB trigger ?

Post by Сабина »

АццкоМото wrote:Поговорив сама с собой, Сабина была приятно удивлена, что заранее знала, что себе скажет и как ответит ;)

Sent from my Nexus 6 using Tapatalk
Нет не знала, но разговор на эту тему с Интерраптом навел на некие мысли :umnik1:
https://www.youtube.com/watch?v=wOwblaKmyVw

Return to “Вопросы и новости IT”