IT горячка в Сиэттле, эпизод 2

[Сабина]

Гуглооблако сейчас расправило крылья и его хотят на каждой первой позиции.

А что там такого произошло? Буквально полгода-год назад амазон и мс рвали всех, как тот тузик (market share больше 80% в сумме, если память не изменяет).

Я не знаю в какой вы вселенной живете, но в моей лидером всегда был AWS, а GCP очень сильно их догнали и перегнали в последние год два. MS облако доминирует чисто количеством, уже заключёнными контрактами. Наши аппликации тоже грозятся в Ажур перевести, но этот день я буду оплакиваться, и уверена уже сейчас что случится это может только в результате politics и сделок «ты мне, я тебе», а не пооому что у кого то много извилин и он выбрал лучшее облако с умом.
А есть посмотреть с точки зрения product offering , у них там каменный век, unless я чего то не знаю. Впрочем расскажите если вам не трудно какой у них есть аналог EMR кластера или Dataproc ? Или BigQuery, BigTable? Или Redshift ?

[Ann4Ann]

Гуглооблако сейчас расправило крылья и его хотят на каждой первой позиции.

А что там такого произошло? Буквально полгода-год назад амазон и мс рвали всех, как тот тузик (market share больше 80% в сумме, если память не изменяет).

unless я чего то не знаю.

\Сабина, при всем моем к Вам уважении, таки Вы чего то не знаете. В стартапе, где я работала в 2016 году мы перевели все (весь зоопарк, графовые базы, кафку, кассандру, ES, хадуп, не говоря уж про мелочевку типа спарка со скалой и им подобных, git, ci/cd и тыды) за два (!!) дня в продакшне с AWS, который стал жрать какое то неразумное количество денег, на ажур, который на тот момент давал полтора года free ride. у нас, правда, этим занимался очень толковый девопс чувак. а я была архитектором, и вот мне вообще ничего не пришлось подстраивать, он все перевел и все встало и забегало... разве что мои offline long tail search&personalization алгоритмы я со времем смогла оттюнить так, что они на тех же ресурах забегали в 2 раза быстрее, но это было чисто из любви к искусству)). так что ажур вполне себе конкурент AWS... чего я до сих пор не скажу про гугловский клауд. как он был незрелым 4 года назад, так и до сих пор не очень... но стараются, да.

[Big Cheese]

Я не знаю в какой вы вселенной живете, но в моей лидером всегда был AWS, а GCP очень сильно их догнали и перегнали в последние год два.

В моей вселенной, а точнее - на прошлой работе, где-то год назад одна из моих команд ваяла продукт для мониторинга этих вот клаудов. По данным от продакт манагеров, лидером был, понятно, aws, ms azure на втором месте с , gcp - на третьем, с _заметным_ отставанием. Точные цифры, увы, не помню, а искать лень..

MS облако доминирует чисто количеством, уже заключёнными контрактами.

т.е. market share by revenue. А как еще прикажете меряться? %% роста? Кстати, не уверен насчет "доминирует" (лидер тут все-таки амазон, как вы сами заметили).

А есть посмотреть с точки зрения product offering , у них там каменный век, unless я чего то не знаю. Впрочем расскажите если вам не трудно какой у них есть аналог EMR кластера или Dataproc ? Или BigQuery, BigTable? Или Redshift ?

Ну, я вообще-то не особо главный по тарелочкам клауд-архитект, но разве EMR, это - в переводе на наши деньги - не спарк и прочий опер-соурс, привинченный к амазоновской инфре (ec2, s3 и тп)? Если так, то это, наверно, не так уж трудно собрать на ажуре? С BigQuery/BigTable, наверно, сложнее будет, это да, но вопрос многим ли этот биг-тэйбл нужен? Особенно для enterprise или public sector IT, которым скомандовали мигрировать все их легаси аппликухи в клауд - а это сейчас основной источник роста у cloud vendors, а вовсе не series A стартапы, пилящие нетленку.

[Big Cheese]

Происходит массовый корпоративный переход в индостан.

Основа этой "массы" - легаси корпы, в лучшем случае типа оракла и циски, для которых это (последний) способ замедлить падение прибыли. У Гуглов и других _растущих_ компаний проблемы совсем иного плана, и перенос продуктов в индостан для них (по большей части) особого смысла не имеет.

[Notghin]

Происходит массовый корпоративный переход в индостан.

Основа этой "массы" - легаси корпы, в лучшем случае типа оракла и циски, для которых это (последний) способ замедлить падение прибыли. У Гуглов и других _растущих_ компаний проблемы совсем иного плана, и перенос продуктов в индостан для них (по большей части) особого смысла не имеет.

ну конечно иного. поэтому там половина контрактинков без бенефитов, а свежеиспечёный индусский СЕО беспокоится исключительно о благополучии белых американцев

[Big Cheese]

Происходит массовый корпоративный переход в индостан.

Основа этой "массы" - легаси корпы, в лучшем случае типа оракла и циски, для которых это (последний) способ замедлить падение прибыли. У Гуглов и других _растущих_ компаний проблемы совсем иного плана, и перенос продуктов в индостан для них (по большей части) особого смысла не имеет.

ну конечно иного. поэтому там половина контрактинков без бенефитов, а свежеиспечёный индусский СЕО беспокоится исключительно о благополучии белых американцев

Это такой утонченный троллинг чтоле? или вы честно передергиваете? вот сцылко за обездоленных контрактников https://www.theverge.com/2019/4/2/18292 ... nity-leave , а вброс про "свежеиспечённого" индусского СЕО просто лень комментировать..

[Notghin]

Происходит массовый корпоративный переход в индостан.

Основа этой "массы" - легаси корпы, в лучшем случае типа оракла и циски, для которых это (последний) способ замедлить падение прибыли. У Гуглов и других _растущих_ компаний проблемы совсем иного плана, и перенос продуктов в индостан для них (по большей части) особого смысла не имеет.

ну конечно иного. поэтому там половина контрактинков без бенефитов, а свежеиспечёный индусский СЕО беспокоится исключительно о благополучии белых американцев

Это такой утонченный троллинг чтоле? или вы честно передергиваете? вот сцылко за обездоленных контрактников https://www.theverge.com/2019/4/2/18292 ... nity-leave , а вброс про "свежеиспечённого" индусского СЕО просто лень комментировать..

У Гуглов и других _растущих_ компаний проблемы совсем иного плана, и перенос продуктов в индостан для них (по большей части) особого смысла не имеет.

Google will require temp workers receive $15 minimum wage and parental leave

[Big Cheese]

Google will require temp workers receive $15 minimum wage and parental leave

practicing the fine art of selective quoting, are we?

In a statement announcing the changes, Google said it would require companies that provide temporary and vendor staff to offer health care benefits, including mental health, pediatric, oral, and dental services, as well as a minimum of eight paid days of sick leave. Workforce providers will also be required to pay workers at least $15 per hour and offer $5,000 per year in tuition reimbursement.

Причем, заметьте, речь как правило идет не об инженерах и прочих 133t высококвалифицированных работниках, и вся эта тема никак не относится к изначальному тезису о всеобщем переводе в индостан.

[Notghin]

Google will require temp workers receive $15 minimum wage and parental leave

practicing the fine art of selective quoting, are we?

In a statement announcing the changes, Google said it would require companies that provide temporary and vendor staff to offer health care benefits, including mental health, pediatric, oral, and dental services, as well as a minimum of eight paid days of sick leave. Workforce providers will also be required to pay workers at least $15 per hour and offer $5,000 per year in tuition reimbursement.

Причем, заметьте, речь как правило идет не об инженерах и прочих 133t высококвалифицированных работниках, и вся эта тема никак не относится к изначальному тезису о всеобщем переводе в индостан.

О ком мы вообще разговариваем? $15 в час и $5000 в год на обучение? это associate degree из местного community college в лучшем случае.

Ну и:

To get around these caps, companies subcontract H-1B visa candidates. It’s playing both sides; Google can file for H-1B visas itself, but then use subcontracting firms that have also filed for visas to round out its workforce. If a company needs 3,000 placements, but was only awarded 1,500 visas directly from the USCIS, it might seek to fill the remaining 1,500 from subcontractors such as Tata Consultancy or Tech Mahindra, two contracting and outsourcing companies that received the most H-1B visas through the lottery system.

Только не надо начинать рассказывать сказки о том, что они не могут найти на американком рынке спецов и поэтому приходится везти из индостана.

[Big Cheese]

О ком мы вообще разговариваем? $15 в час и $5000 в год на обучение? это associate degree из местного community college в лучшем случае.

Я тоже теряюсь в догадках, о чем вообще речь. Началось все с утверждения, что "Происходит массовый корпоративный переход в индостан". На что я возразил, что это не относится к growth companies. А потом, через серию аргументов типа "а у вас зато негров линчуют" дошло до H1. Похоже, моих скромных способностей явно не хватает, чтобы следить за полетом вашей мысли, так что предлагаю закончить.

[Notghin]

О ком мы вообще разговариваем? $15 в час и $5000 в год на обучение? это associate degree из местного community college в лучшем случае.

Я тоже теряюсь в догадках, о чем вообще речь. Началось все с утверждения, что "Происходит массовый корпоративный переход в индостан". На что я возразил, что это не относится к growth companies. А потом, через серию аргументов типа "а у вас зато негров линчуют" дошло до H1. Похоже, моих скромных способностей явно не хватает, чтобы следить за полетом вашей мысли, так что предлагаю закончить.

Спасибо хоть кончить не предлагаете. Не вы ли писали следующее:

У Гуглов и других _растущих_ компаний проблемы совсем иного плана, и перенос продуктов в индостан для них (по большей части) особого смысла не имеет.

Я вам и объяснил, что там и так половина сотрудников на контракте и H1b. Нахрена им сотрудники на контрактах и визах, если у них нет финансовой мотивации? (по вашим словам). Где вы видели бизнес не ориентированный на $$$? Если к власти придут демократы через 50 лет в США не останется ни бизнеса нормального, ни белых ИТшников.

[Сабина]

В стартапе, где я работала в 2016 году мы перевели все (весь зоопарк, графовые базы, кафку, кассандру, ES, хадуп, не говоря уж про мелочевку типа спарка со скалой и им подобных, git, ci/cd и тыды) за два (!!) дня в продакшне с AWS, который стал жрать какое то неразумное количество денег, на ажур, который на тот момент давал полтора года free ride. у нас, правда, этим занимался очень толковый девопс чувак. а я была архитектором, и вот мне вообще ничего не пришлось подстраивать, он все перевел и все встало и забегало... разве что мои offline long tail search&personalization алгоритмы я со времем смогла оттюнить так, что они на тех же ресурах забегали в 2 раза быстрее, но это было чисто из любви к искусству)). так что ажур вполне себе конкурент AWS... чего я до сих пор не скажу про гугловский клауд. как он был незрелым 4 года назад, так и до сих пор не очень... но стараются, да.

Ну ОК, я понимаю что ВМ там раздают, но чтобы меня совсем переубедить в их конкурентноспособности - можно озвучить названия тех самые product offerings от них ?
Кафка например. Зашла к ним как то на стенд - дайте говорю про Кафку. Выдали три флаера со словами event hubs, рассказать про это на стенде никто не мог внятно, конференция называлась Кафка саммит . Больше я про это не слышала нигде и никогда.
То что у нас на работе в Ажуре - самопал поверх ВМs. Наверное дешево и сердито, и можно это все поддерживать кровью и потом программеров, гордо крича что мы cloud agnostic. Можно ли там построить хорошую и надежную data pipeline с минимаьными затратами труда на plumbing и максимальным выхлопом ? I do not think so

Вот на чем вы гоняли "мелочевку типа Спарк" в AWS и куда ее потом в Ажур перенесли ?

[Сабина]

Ну, я вообще-то не особо главный по тарелочкам клауд-архитект, но разве EMR, это - в переводе на наши деньги - не спарк и прочий опер-соурс, привинченный к амазоновской инфре (ec2, s3 и тп)? Если так, то это, наверно, не так уж трудно собрать на ажуре? С BigQuery/BigTable, наверно, сложнее будет, это да, но вопрос многим ли этот биг-тэйбл нужен? Особенно для enterprise или public sector IT, которым скомандовали мигрировать все их легаси аппликухи в клауд - а это сейчас основной источник роста у cloud vendors, а вовсе не series A стартапы, пилящие нетленку.

Разница простая на самом деле Iaas vs PaaS or Saas например. Амазон доминировал долго потому что был первым и налегал на оба фронта. Потом подключился Ажур, но они налегают на IaaS, ну как минимум я мало слышу про их product offerings и тут никто поделиться так и не соизволил
За тех кому не нужны Bigdata не скажу, они наверное многие в онпремах сидят еще, это ж не просто избавиться от имеющейся инфры. В облако идут только за тем что не хватает по хорошему. И учитывая обороты big data /ds/ml следующая динамика вполне себе предсказуемая и растет GCP семимильными шагами именно в то самое последнее время о котором я говорила, а не в 2016-м году

[rtogan]

Ну, я вообще-то не особо главный по тарелочкам клауд-архитект, но разве EMR, это - в переводе на наши деньги - не спарк и прочий опер-соурс, привинченный к амазоновской инфре (ec2, s3 и тп)? Если так, то это, наверно, не так уж трудно собрать на ажуре? С BigQuery/BigTable, наверно, сложнее будет, это да, но вопрос многим ли этот биг-тэйбл нужен? Особенно для enterprise или public sector IT, которым скомандовали мигрировать все их легаси аппликухи в клауд - а это сейчас основной источник роста у cloud vendors, а вовсе не series A стартапы, пилящие нетленку.

Разница простая на самом деле Iaas vs PaaS or Saas например. Амазон доминировал долго потому что был первым и налегал на оба фронта. Потом подключился Ажур, но они налегают на IaaS, ну как минимум я мало слышу про их product offerings и тут никто поделиться так и не соизволил
За тех кому не нужны Bigdata не скажу, они наверное многие в онпремах сидят еще, это ж не просто избавиться от имеющейся инфры. В облако идут только за тем что не хватает по хорошему. И учитывая обороты big data /ds/ml следующая динамика вполне себе предсказуемая и растет GCP семимильными шагами именно в то самое последнее время о котором я говорила, а не в 2016-м году

А где источник этой диаграммы?

[fleshold]

Вот это да! Поздравляю! Такие деньжищи! Да еще у вас и жена работает на хорошей работе. Это получается, что вам можно будет выйти на пенсию молодым! Круть. Не надо будет пахать до 65ти лет.

Я тоже такого мнения, чтобы дети ходили в садик. Сидеть целыми днями дома с мамой - это ж с ума сойти можно. Да, в садике бродят детские болезни. Ну без них в любом случае детский организм не натренирует свой иммунитет. Так что, ничего страшного. Мы когда с сыном сидели дома целый день на матернити лив, так ему надоело, мне надоело, нудно!

да вы обалдели - как на привете пишут он где-то в серединке... ну может с женой повезло, это да

Вспомнилась картинка

[kyk]

где такие зачОтные картинки берёшь?

[Сабина]

Хорошая статья про то как AI changes software business landscape
https://a16z.com/2020/02/16/the-new-bus ... -software/

[Eleanor377]

да вы обалдели - как на привете пишут он где-то в серединке... ну может с женой повезло, это да

Пусть пишут . В серединке или нет, а пахать до старости не надо! Ни жене, ни ему!

[VovaK98]

За тех кому не нужны Bigdata не скажу, они наверное многие в онпремах сидят еще, это ж не просто избавиться от имеющейся инфры.

Проблема не столько от инфраструктуры избавиться, сколько перелить б-м значительное кол-во данных в облако. Вот есть у меня SQL база в 4тб, как ее в AWS перелить хотя бы за выходные, чтобы кастомеров не напрячь? Понятия не имею.
Потом периодически оттуда выборки надо сливать и раздавать кастомерам на USB - вот как?

[IvanGrozniy]

За тех кому не нужны Bigdata не скажу, они наверное многие в онпремах сидят еще, это ж не просто избавиться от имеющейся инфры.

Проблема не столько от инфраструктуры избавиться, сколько перелить б-м значительное кол-во данных в облако. Вот есть у меня SQL база в 4тб, как ее в AWS перелить хотя бы за выходные, чтобы кастомеров не напрячь? Понятия не имею.
Потом периодически оттуда выборки надо сливать и раздавать кастомерам на USB - вот как?

С этими облаками нужно мировоззрение менять. Тру-менеджер сначала установку должен дать, мол, переносим все в облака и ничего другое не волнует. А с остальными "мелочами" по пути разберемся. Например, в вашем случае он сможет попозже предложить сляпать веб-ю-ай для клиентов, что на флешках ничего не передавать файлы
А если серьезно, то зачастую когда смотрю на это энтузиазм роботников по переносу всего подряд в облако и, якобы, экономии денег, так и хочется пальцем у виска покрутить. Делаем сейчас проект. Изначально начальники решили - идем в облако с базенками своими. Я им многократные претензии выдавал, что дорого в конце-концов выйдет. А они всем втирали, что, почти забесплатно это будет. Есть скидка, мол... Пришла пора писать приложение, а базы нет. Из них никто отвественность за разрешение по оплате облачных услуг брать не хочет, так как дорого выходит. Я им настроил базу в сетке на стареньком сервере баз данных, пока разработка идет. Успокоились на несколько месяцев... Настала пора тестировать новую программу на отдельном сервере с быстрой базой данной. Сейчас считают сколько будет стоить тру Azure DB. Получается более тысячи долларов в месяц. И это только для нужд тестирования! Вчера один такой шустрый начальник собирал у работников бесплатные кредиты, которые Azure дает новым пользователям (по $150), чтобы хоть как-то начать. Думаю, что даже на месяц не наскреб копеек. Ну это пример в моей текущей работы.
Были еще примеры с этими облаками лет 7 назад. Та же самая история - облачные сервисы дороже, если нужен большой траффик и мощный сервер. Дешевле самим поставить сервер с лицензией в дата центре с выделенной интернет линией.

[-helloworld-]

Проблема не столько от инфраструктуры избавиться, сколько перелить б-м значительное кол-во данных в облако. Вот есть у меня SQL база в 4тб, как ее в AWS перелить хотя бы за выходные, чтобы кастомеров не напрячь? Понятия не имею.

Отправить диски обычной почтой. Никто такие данные не "заливает" в облако.

[VovaK98]

Проблема не столько от инфраструктуры избавиться, сколько перелить б-м значительное кол-во данных в облако. Вот есть у меня SQL база в 4тб, как ее в AWS перелить хотя бы за выходные, чтобы кастомеров не напрячь? Понятия не имею.

Отправить диски обычной почтой. Никто такие данные не "заливает" в облако.

Решение как бы есть, называется snowball
https://aws.amazon.com/snowball/
Проблема в том, что все равно за weekend не успеваем. Да и потом обратно как оттуда выборки рассылать. Веб-интерфейс не опция, давать клиентам скачивать по 300-500 гигабайтов каждому в рабочее время не фан.
А тем временем база жиреет и пухнет.

[VovaK98]

А если серьезно, то зачастую когда смотрю на это энтузиазм роботников по переносу всего подряд в облако и, якобы, экономии денег, так и хочется пальцем у виска покрутить.

Облако - по крайней мере AWS - это в большинстве случаев никакая не экономия. Гибкость инфраструктуры, reliability, scalability, AMI backups, DR-regions, serverless architecture, легкость и автоматизация управления инфраструктурой, всякие другие вкусности - это да. Но не экономия.
И да - у амазона support нам нра. В датацентре такого не было и нет, по крайней мере у нас в компашке так сложилось.

[Komissar]

Проблема не столько от инфраструктуры избавиться, сколько перелить б-м значительное кол-во данных в облако. Вот есть у меня SQL база в 4тб, как ее в AWS перелить хотя бы за выходные, чтобы кастомеров не напрячь? Понятия не имею.

Отправить диски обычной почтой. Никто такие данные не "заливает" в облако.

Решение как бы есть, называется snowball
https://aws.amazon.com/snowball/
Проблема в том, что все равно за weekend не успеваем. Да и потом обратно как оттуда выборки рассылать. Веб-интерфейс не опция, давать клиентам скачивать по 300-500 гигабайтов каждому в рабочее время не фан.
А тем временем база жиреет и пухнет.

у нас была база в 5 пб, оказалось, чтобы перекачать ее на "снежок", понадобятся годы.

[Сабина]

За тех кому не нужны Bigdata не скажу, они наверное многие в онпремах сидят еще, это ж не просто избавиться от имеющейся инфры.

Проблема не столько от инфраструктуры избавиться, сколько перелить б-м значительное кол-во данных в облако. Вот есть у меня SQL база в 4тб, как ее в AWS перелить хотя бы за выходные, чтобы кастомеров не напрячь? Понятия не имею.
Потом периодически оттуда выборки надо сливать и раздавать кастомерам на USB - вот как?

Проблема надуманная. Давно есть куча наработанных технологий. Часто той же Кафкой перекачивают