IT горячка в Сиэттле, эпизод 2

[Сабина]

А если серьезно, то зачастую когда смотрю на это энтузиазм роботников по переносу всего подряд в облако и, якобы, экономии денег, так и хочется пальцем у виска покрутить.

Облако - по крайней мере AWS - это в большинстве случаев никакая не экономия. Гибкость инфраструктуры, reliability, scalability, AMI backups, DR-regions, serverless architecture, легкость и автоматизация управления инфраструктурой, всякие другие вкусности - это да. Но не экономия.
И да - у амазона support нам нра. В датацентре такого не было и нет, по крайней мере у нас в компашке так сложилось.

Сунулись вчера в Мамазон. Ох блин подорожал он. За тот же elastic computer что в GCP стоит fractions of cents, заплатили за два дня $2. Впрочем может у нас корпоративная скидка и проч

[alex_127]

А если серьезно, то зачастую когда смотрю на это энтузиазм роботников по переносу всего подряд в облако и, якобы, экономии денег, так и хочется пальцем у виска покрутить.

Облако - по крайней мере AWS - это в большинстве случаев никакая не экономия. Гибкость инфраструктуры, reliability, scalability, AMI backups, DR-regions, serverless architecture, легкость и автоматизация управления инфраструктурой, всякие другие вкусности - это да. Но не экономия.
И да - у амазона support нам нра. В датацентре такого не было и нет, по крайней мере у нас в компашке так сложилось.

Сунулись вчера в Мамазон. Ох блин подорожал он. За тот же elastic computer что в GCP стоит fractions of cents, заплатили за два дня $2. Впрочем может у нас корпоративная скидка и проч

бесплатный сыр... электричество у тех и других одинаковое, железяки похожие а разница в десятки раз? ага, это мы жадные а они щедрые. тут за центы возня идет мама не горюй...

кстати, если вы найдете тот факт что aws повышал цены на EC2 - я пошлю вам большой букет роз от компании.
https://serverguy.com/news/aws-ec2-price-reduction/

[Сабина]

Найти то я найду и без букета .
Просто я же сразу обговорила что это относительно и скорее всего GCP rate вообще несравнимый из-за разного изначального offering, чего в бутылку то лезть
https://forums.aws.amazon.com/thread.js ... dID=317214

[DVK]

Проблема не столько от инфраструктуры избавиться, сколько перелить б-м значительное кол-во данных в облако. Вот есть у меня SQL база в 4тб, как ее в AWS перелить хотя бы за выходные, чтобы кастомеров не напрячь? Понятия не имею.

Отправить диски обычной почтой. Никто такие данные не "заливает" в облако.

Решение как бы есть, называется snowball
https://aws.amazon.com/snowball/
Проблема в том, что все равно за weekend не успеваем. Да и потом обратно как оттуда выборки рассылать. Веб-интерфейс не опция, давать клиентам скачивать по 300-500 гигабайтов каждому в рабочее время не фан.
А тем временем база жиреет и пухнет.

у нас была база в 5 пб, оказалось, чтобы перекачать ее на "снежок", понадобятся годы.

Расскажите, откуда взялись «годы»???

[alex_127]

Найти то я найду и без букета .
Просто я же сразу обговорила что это относительно и скорее всего GCP rate вообще несравнимый из-за разного изначального offering, чего в бутылку то лезть
https://forums.aws.amazon.com/thread.js ... dID=317214

а вы тот пост прочитали?

[Сабина]

Найти то я найду и без букета .
Просто я же сразу обговорила что это относительно и скорее всего GCP rate вообще несравнимый из-за разного изначального offering, чего в бутылку то лезть
https://forums.aws.amazon.com/thread.js ... dID=317214

а вы тот пост прочитали?

Вы просили найти про то что кост увеличился. На дальнейшие дискуссии вокруг этого нет ни времени ни желания, сорри

[alex_127]

Найти то я найду и без букета .
Просто я же сразу обговорила что это относительно и скорее всего GCP rate вообще несравнимый из-за разного изначального offering, чего в бутылку то лезть
https://forums.aws.amazon.com/thread.js ... dID=317214

а вы тот пост прочитали?

Вы просили найти про то что кост увеличился. На дальнейшие дискуссии вокруг этого нет ни времени ни желания, сорри

Ну так для интереса всех остальных: я попросил привести пример чтобы увеличилась цена EC2 "кстати, если вы найдете тот факт что aws повышал цены на EC2 - я пошлю вам большой букет роз от компании". Вы в ответ привели пример CloudFront - похоже у человека возросло количество изменяемых файлов на сайте а он эту свою активность с увеличением счета сам сумел связать меньше чем за 53 минуты (время между его вопросом что вы привели и его собственным же ответом на форуме)
https://wordpress.org/support/topic/clo ... lidations/
Fail.

[VovaK98]

За тех кому не нужны Bigdata не скажу, они наверное многие в онпремах сидят еще, это ж не просто избавиться от имеющейся инфры.

Проблема не столько от инфраструктуры избавиться, сколько перелить б-м значительное кол-во данных в облако. Вот есть у меня SQL база в 4тб, как ее в AWS перелить хотя бы за выходные, чтобы кастомеров не напрячь? Понятия не имею.
Потом периодически оттуда выборки надо сливать и раздавать кастомерам на USB - вот как?

Проблема надуманная. Давно есть куча наработанных технологий. Часто той же Кафкой перекачивают

Как перелить MSSQL 4TB из датацентра в AWS RDS за выходные, да еще и шоб всё работало после этого? Чего тут надуманного?

[IvanGrozniy]

За тех кому не нужны Bigdata не скажу, они наверное многие в онпремах сидят еще, это ж не просто избавиться от имеющейся инфры.

Проблема не столько от инфраструктуры избавиться, сколько перелить б-м значительное кол-во данных в облако. Вот есть у меня SQL база в 4тб, как ее в AWS перелить хотя бы за выходные, чтобы кастомеров не напрячь? Понятия не имею.
Потом периодически оттуда выборки надо сливать и раздавать кастомерам на USB - вот как?

Проблема надуманная. Давно есть куча наработанных технологий. Часто той же Кафкой перекачивают

Ну это когда у компании мешок денег есть, то да - купил сервер подороже с большим каналом и качай. Так-то облачники за каждый перекачанный байт, дополнительный размер жесткого диска и каждый добавочный герц процессора денежку хотят. Помню я баловался с биткоинами с облачным сервисом от Амазона. Сделал кошелек на сервере в AWS. А по факту оказывалось, чтобы взять весь первоначальный леджер нужно было скачать серверу более 20Гб из вне. Я с калькулятором прикинул сколько это денег будет и отказался от этой затеи.
Предполагаю, что первый терабайт закачки в облачную базу из вне обойдется в тысячу долларов минимум. А ведь это уже половина месячной оплаты полноценного шкафа/холодильника в датацентре с жирной выделенной интернет линией. В этот шкаф 20 серверов влезет. Кому оно надо качать терабайты к жадным облачникам?

[VovaK98]

Предполагаю, что первый терабайт закачки в облачную базу из вне обойдется в тысячу долларов минимум.

Ну не так всё запущено. Я пару лет назад домашний сервер перенес в S3, там под терабайт как раз получилось, где-то баксов 30 может заплатил сверху за трафик.
Щас вот один сервер, трафик несколько GB в день, за полтинник в месяц не выходит. Там SQL база в EC2 / RDS, аттачменты в S3. Кстати, система документооборота - тиффы, пдфы, то, сё.
Самое то, за что дерут бабки - это за AMI backups/snapshots, но я их подчищаю скриптом, чтобы дольше 30ти дней не болтались.

Вообще, S3 крайне недорого стоит. Заливка туда чуть дороже, слив чуть дешевле. Если прикрутить CloudFront для статичных данных из S3, то всё становится ещё дешевле, буквально центы за мегабайты.
Ща посмотрел - 8.5c за 1GB out. Если больше 40TB , то падает до 8 центов.
https://aws.amazon.com/cloudfront/pricing/

[katit]

А если серьезно, то зачастую когда смотрю на это энтузиазм роботников по переносу всего подряд в облако и, якобы, экономии денег, так и хочется пальцем у виска покрутить.

Облако - по крайней мере AWS - это в большинстве случаев никакая не экономия. Гибкость инфраструктуры, reliability, scalability, AMI backups, DR-regions, serverless architecture, легкость и автоматизация управления инфраструктурой, всякие другие вкусности - это да. Но не экономия.
И да - у амазона support нам нра. В датацентре такого не было и нет, по крайней мере у нас в компашке так сложилось.

Смотря кому. Для нас экономия. У меня нет денег на фулл тайм спеца чтоб сервера и настраивал и мониторил и т.д. Поэтому амазон выгоднее. Вот на RDS перешли, тоже "не выгодно" по сравнению с VPC/own license но удобно. А нанимать SQL админа дороже будет. Итого получается что хоть может и платим больше но удобнее. А клиентам как нравится! От одного слова "amazon cloud" млеют.

Когда расходы будут в сотни тысяч в год - тогда можно будет подумать.

[valchkou]

Когда расходы будут в сотни тысяч в год - тогда можно будет подумать.

мы вот подумали, посчитали, изначально ожидания были что свой клауд намного дешевле
но по факту не намного, не в разы, может быть процентов на 15-20, зато с паблик клаудом гемороя меньше намного.
Пока продолжаем работать в гибридной модели, по дистанции будет более понятно.
Но мне как разработчику паблик конечно удобнее.

[katit]

Когда расходы будут в сотни тысяч в год - тогда можно будет подумать.

мы вот подумали, посчитали, изначально ожидания были что свой клауд намного дешевле
но по факту не намного, не в разы, может быть процентов на 15-20, зато с паблик клаудом гемороя меньше намного.
Пока продолжаем работать в гибридной модели, по дистанции будет более понятно.
Но мне как разработчику паблик конечно удобнее.

Стопудово. Причём непонятно как вы 15-20 посчитали. Свой клауд подразумевает много всякой фигни про которую даже не думаешь

[tessob]

Стопудово. Причём непонятно как вы 15-20 посчитали. Свой клауд подразумевает много всякой фигни про которую даже не думаешь

От масштаба зависит. Если свой админ загружен близко к 100%, то собственная инфраструктура будет дешевле. В публичном облаке хорошо прототипировать и расти. Когда рост выходит на некое плато, то имеет уже смысл думать о том, чтоб идти в собственные дата-центры. Ну и облако еще удобно тогда, когда нагрузку на железо сложно предсказать и, например, неожиданно могут прийти несколько миллионов пользователей.

Сейчас я наблюдаю как набирает обороты тренд уносить базы данных в свои дата-центры, когда инженер может прийти и воткнуть еще один жесткий диск, а всякие вебсервисы живут в публичных облаках.

[VovaK98]

Сейчас я наблюдаю как набирает обороты тренд уносить базы данных в свои дата-центры, когда инженер может прийти и воткнуть еще один жесткий диск, а всякие вебсервисы живут в публичных облаках.

Мы наоборот, разочаровались в DC саппорте. Если сервер лежит, то надо звонить, объяснять, ждать пока починят. Часы и дни проходят. Ещё эти постоянные игры работников ДЦ с сеткой, когда F5 у них вдруг куда-то не туда кажет, или порт вдруг закрыли. Это песня..
Или того хуже, вдруг VM начинает ползать вместо того, чтобы летать. Это вообще худший сценарий - доказать ДЦ что-либо невозможно - всё типа работает же.
В AWS я скриптом или перезагружаю сервер, или переношу в другую AZ, или апгрейдю за секунды. И бекаплю за минуты. Не говоря о том, что никогда ничего не пропадает вдруг само.
Если что медленно работает - ec2 reboot при перегруженной AZ зачастую поднимет сервер на другой, недозагруженной host- машине. Это в секунды.
Единственная проблема - это вот за/сливать большие данные из AWS быстро когда нужно пока не получается.

[voyager3]

katit дело говорит: основная замануха облаков для бизнесов - избавиться от этих непонятных ботанов-ойтишнегов, которые хотят много денюх и нормального отношения за какое-то возяканье мышью.

[tessob]

Мы наоборот, разочаровались в DC саппорте.

Я имел в виду компании, которые размещают физическую инфраструктуру и дают к ней физический доступ, т.е. можно прийти и воткнуть руками HDD в свой сервер. Это тоже вполне себе подход, особенно для систем хранения.

[alex_127]

Мы наоборот, разочаровались в DC саппорте.

Я имел в виду компании, которые размещают физическую инфраструктуру и дают к ней физический доступ, т.е. можно прийти и воткнуть руками HDD в свой сервер. Это тоже вполне себе подход, особенно для систем хранения.

Это конечно подход. Но очень плохой подход по деньгам если инфраструктуры много. Даже те кто уходят из клауда развертывают себе по взрослому (и набивают гигантские шишки в процессе).

[valchkou]

katit дело говорит: основная замануха облаков для бизнесов - избавиться от этих непонятных ботанов-ойтишнегов, которые хотят много денюх и нормального отношения за какое-то возяканье мышью.

чтобы избавиться от ботанов-ойтишнегов придется нанять бородатых клауд-архитекторов. А иначе не взлетит.
короче без атишнегов ни там ни тут ничего работать не будет.
Вообще облако становится рентабельным если решение оптимизировано под облако, ну там типа кубернетесы, микросервисы в докерах, лямбды, serverless event driven architecture,
Система должна быть динамической, auto-scale, плюс сюда прикрутим тестирование, разные env aka test, staging, perf.
это то о чем сильно не думаешь когда железо свое - поднял несколько приложений, выделил под них 32 ядра, и они там живут и не важно есть нагрузка, нет нагрузки - стоимость одинакова.
В клауде так нельзя, нужны маленькие, легковесные компоненты, чтобы они могли быстро умирать если нет нагрузки или трафика и так же быстро подниматься когда нужно.
Например в пиковую нагрузку будет 32 ядра, а скажем ночью 4.

[VovaK98]

katit дело говорит: основная замануха облаков для бизнесов - избавиться от этих непонятных ботанов-ойтишнегов, которые хотят много денюх и нормального отношения за какое-то возяканье мышью.

чтобы избавиться от ботанов-ойтишнегов придется нанять бородатых клауд-архитекторов. А иначе не взлетит.
короче без атишнегов ни там ни тут ничего работать не будет.
Вообще облако становится рентабельным если решение оптимизировано под облако, ну там типа кубернетесы, микросервисы в докерах, лямбды, serverless event driven architecture,
Система должна быть динамической, auto-scale, плюс сюда прикрутим тестирование, разные env aka test, staging, perf.
это то о чем сильно не думаешь когда железо свое - поднял несколько приложений, выделил под них 32 ядра, и они там живут и не важно есть нагрузка, нет нагрузки - стоимость одинакова.
В клауде так нельзя, нужны маленькие, легковесные компоненты, чтобы они могли быстро умирать если нет нагрузки или трафика и так же быстро подниматься когда нужно.
Например в пиковую нагрузку будет 32 ядра, а скажем ночью 4.

Да, для идеального ROI нужно по большей части передизайнить архитектуру.

Есть и другой use case: перенос малых бизнесов в VPC.
Мы перетащили полторы сотни наших клиентов (insurance agencies) целиком в AWS. Все сервера и VMWare в EC2, десктопы в WorkSpaces. Я написал windows shell replacement, который при загрузке стартует workspace client, и юзер не видит разницы. Позже сделал приблуду, которая если workspace юзера дохнет ('unhealthy'), посылает юзеру SMS. Юзер (если хочет, конечно) сам в мобильнике нажимает линк для workspace reboot. Никакое IT-шной вмешательство не требуется.

Теперь если юзер словил вирус или енкриптер, то делаем workspace rebuild в два клика мышой за минуты. На десктопе у юзера при этом ничего не меняется.

[IvanGrozniy]

katit дело говорит: основная замануха облаков для бизнесов - избавиться от этих непонятных ботанов-ойтишнегов, которые хотят много денюх и нормального отношения за какое-то возяканье мышью.

чтобы избавиться от ботанов-ойтишнегов придется нанять бородатых клауд-архитекторов. А иначе не взлетит.
короче без атишнегов ни там ни тут ничего работать не будет.
Вообще облако становится рентабельным если решение оптимизировано под облако, ну там типа кубернетесы, микросервисы в докерах, лямбды, serverless event driven architecture,
Система должна быть динамической, auto-scale, плюс сюда прикрутим тестирование, разные env aka test, staging, perf.
это то о чем сильно не думаешь когда железо свое - поднял несколько приложений, выделил под них 32 ядра, и они там живут и не важно есть нагрузка, нет нагрузки - стоимость одинакова.
В клауде так нельзя, нужны маленькие, легковесные компоненты, чтобы они могли быстро умирать если нет нагрузки или трафика и так же быстро подниматься когда нужно.
Например в пиковую нагрузку будет 32 ядра, а скажем ночью 4.

То-то Амазонщики у меня в online assesment в разделе про дизайн спрашивали про Microservices В других компаниях дизайновские вопросы на другую тему.

[Мальчик-Одуванчик]

Стопудово. Причём непонятно как вы 15-20 посчитали. Свой клауд подразумевает много всякой фигни про которую даже не думаешь

Когда свое валится много чаще чем чужая инфраструктура, то всё равно приходится держать собственных администраторов.
В таком контексте клауд нифига не выгоден.
Другой случай - нагрузочное тестирование, гда амазон обходится в разы дороже собственного полигона.

[valchkou]

Другой случай - нагрузочное тестирование, гда амазон обходится в разы дороже собственного полигона.

с тестированием есть риск что результаты на своем железе не будут соответствовать клауду.
Был у нас такой случай с ораклом, подняли базу в амазоне типа все класно, легла в первый же день.
оказалось что под оракл надо какие то специальные инстансы которые намного дороже, а оракл под них продает совсем другие лицензии.
Оба и Амазон и Оракл радостно потирали ручки. Бухгалтер скрипя зубами выписывал чек.
А в своем датацентре все было зашибись.
Короче дороже вышло не только тестирование но и сам продакшн.
В итоге я по быстрому переделал пару процессов на кассандру на чем было съэкономлено 120к в год

[Сабина]

katit дело говорит: основная замануха облаков для бизнесов - избавиться от этих непонятных ботанов-ойтишнегов, которые хотят много денюх и нормального отношения за какое-то возяканье мышью.

чтобы избавиться от ботанов-ойтишнегов придется нанять бородатых клауд-архитекторов. А иначе не взлетит.
короче без атишнегов ни там ни тут ничего работать не будет.
Вообще облако становится рентабельным если решение оптимизировано под облако, ну там типа кубернетесы, микросервисы в докерах, лямбды, serverless event driven architecture,
Система должна быть динамической, auto-scale, плюс сюда прикрутим тестирование, разные env aka test, staging, perf.
это то о чем сильно не думаешь когда железо свое - поднял несколько приложений, выделил под них 32 ядра, и они там живут и не важно есть нагрузка, нет нагрузки - стоимость одинакова.
В клауде так нельзя, нужны маленькие, легковесные компоненты, чтобы они могли быстро умирать если нет нагрузки или трафика и так же быстро подниматься когда нужно.
Например в пиковую нагрузку будет 32 ядра, а скажем ночью 4.

Хорошо сказали.
Я бы ещё добавила менеджеров с мозгами которые правильное работают на предмет cloud feasibility. А то нагонят в облако тех кто без малейшего соображения что эфемерный ресурс надо прибивать после того как он сделал своё дело - и компания платит кучу денег ни за что, и никому невдомек отчего облако такое «дорогое»

[IvanGrozniy]

Пришла пора сказать прощай нынешнему работодателю через 2.5 года усердного труда
После месяца подготовки, 7 онсайтов, получил хороший оффер, общая сумма в год кэшем 300, rsu чуть больше 200, первый год ещё и сайнап 50
Т.е. чуть больше полляма в год и никаких опций.
Есть жизнь на марсе, в общем! Боритесь и поборите!

Хотелось бы задать вопрос специалисту на эту тему. Если, допустим, специалист придумал уникальную модель для "машинного обучения", которая может быть восстребована другими людьми и компаниями. Подобрал нетривиальные фишки для тренировки, кост-функцию подобрал, написал какую-нибудь нестандартную библиотечку для просчета результатов и т.д. Можно ли получить патент на изобретение такой специфической модели в этом случае? Вам встречались подобные примеры? Если да, то ссылки нет случайно? Спасибо.