Computing power comparison: mainframe versus Intel Xeon

[Flash-04]

Уверен что за три года вы не растете так, вы даже 1:100 не растете. Кстати, как обычно, ты не намекнул в какой именно потолок вы упираетесь через 3 года.

Вот тут ты сильно ошибаешься растут наши аппетиты в геометрической прогрессии

[Flash-04]

Масштаб МФ, как я уже не раз говорил, больше чем 1:1500 (по MIPS, zBC12). Уверен что за три года вы не растете так, вы даже 1:100 не растете. Кстати, как обычно, ты не намекнул в какой именно потолок вы упираетесь через 3 года.

Что это за абстрактные цифры?

[zVlad]

Уверен что за три года вы не растете так, вы даже 1:100 не растете. Кстати, как обычно, ты не намекнул в какой именно потолок вы упираетесь через 3 года.

Вот тут ты сильно ошибаешься растут наши аппетиты в геометрической прогрессии

Аппетиты на что растут? На диски для террабайтов? Ты так и не ответил про потолок.

[zVlad]

Полюбопытствовал про Splunk. Они оказывается и для zSystem чего пытаются предлагать, говоря о высокой значимости z для крупнейших бизнесов.
Почитал их презентацию и что собственно они предлагают. У нас таких красивых картинок конечно нет, но все данные которые они предлагают собирать с мф, хранить где-то и обрабатывать с цель получения красивых картинок, мы собираем на самом мф, храним столько сколько надо (security data вечно, другие 30 дней - больше на имеет смысла но если понадобилось бы то могли бы и дольше хранить), и обрабатываем когда надр и так как надо.
Особенность этих данных в том что необходимости их использовать в норме нет. Лишь когда возникают вопросы, а возникают такие вопросы крайне редко, эти данные нужны и их надо взять и показать. Причем брать и показывать надо совсем не много данных по конкретному вопросу.
Они там еще написали что эти данные надо хранить и обрабатывать не на мф потому де для обработки требуются циклы мф CPU, столь нужные для другой, более важной работы, что для обработки операционных данных их ни в коем случае использовать нельзя. Глупые люди. Такие работы можно выполнять в фоновом режим без какого-либо ущерба для производства, а большего для такой обработки и не надо.


https://www.splunk.com/blog/2017/08/22/ ... omers.html

[zVlad]

Вообще какая-то порочная практика складывается: создавать ИТ работы из самой ИТ. Причем ноги растут из распределенных систем, там единиц ИТ так стало много что чтобы их как то обозревать надо создавать нешуточные установки для сбора и обработки информации об этом, об их работе. И это распространяется на мф тоже, их тоже подпрягают, хотя этих проблем строго говоря никогда на мф на было и нет, в том смысле что обозримость всего что нужно обозревать достигалась и достигается штатными средствами с использованием тех же ресурсов на которых выполняется производственная работа.
Я в 2015-2016 годах участвовал в установке инфраструктуры для RSA Aveksa приложения которая собирает и как-то обрабатывает данные из различных active directories и в том числе из RACF. Вроде для меня могло быть полезно как занятого с RACF, но я не видел и не вижу никаких проблем, все они решались и решаются на раз-два-три без Aveksa.
Вот про Splunk узнал с подачи Flash-04. За уши, с писком притягивается к мф.
А сегодня пришло приглашение на kick-off митинг по поводу еще одной приблуды которая будет сидеть где-то и типа собирать данные в том числе с мф для аудита. Не понятно что мы не давали аудиту без этой приблуды, а мы каждый год даем аудиту все что они просят причем за минимально возможное время.
Пригласили причем ровно тогда когда я буду в краткосрочном отпуске. Вы все свидетели как я груши околачиваю, слоняюсь без дела месяцами и вот на тебе стоит собраться, а они митинг объявляют.

[mskmel]

Не понятно что мы не давали аудиту без этой приблуды, а мы каждый год даем аудиту все что они просят причем за минимально возможное время.

Видимо аудиту надоело собирать 100500 имейлов от разных команд, потому хотят сами централизованно собирать.
Еще может быть хотят аудит раз в 10 минут проводить и если что не compliant - бить по голове.

[mskmel]

Нынешняя (Splunk) была спроектирована и потолок был известен заранее - 7 Tb в день. Вот только мы уперлись в него раньше чем наступил следующий бюджетный цикл расширения системы. Но технической проблемы нет - просто добавить серверов.

А вот купили бы МФ на 1000МИПС ничего делать не надо бы было, он бы это всё потянул. Что ему 7ТБ в день то?

[mskmel]

1. В отличие от x86, МФ прекрасно работает и на 100% нагрузке

Берем железку о 20 ядрах, ставим туда VM с 2 vCPU - profit! Она отлично будет жить даже при 100% нагрузки.

[StrangerR]

Вы в огромном грузовике отгородили шторкой маленький кусочек, и забиваете его под потолок, и хвалитесь что у вас порожних рейсов нет )))

при этом за шторкой до потолка пустые и ненужные коробки, потому что водила далек от ИТ, не компетентен и не видит, что нагрузка на МФ у этого водилы лишь от того, что примитивного индекса в базе не хватает.

Я вот тоже подумал, какой же это бред... Если у вас стоит железка, а ее зачем то внутри отгораживают, то значит, вы заплатили за пустое место. Или заплатите когда повысите ее использование.

Мы вот у себя объясняем всем внутренним пользователям, что _забивайте свободные мощности. Если что мы приоритетами все сделаем как нужно, но если у нас есть свободная память а ее использование вам съекономит хотя бы 10 процентов времени - используйте ее. _ и так далее. А тут да, притащили грузовик, отгородили часть кузова, и играют в игру _как засунуть бегемота в собачью конуру_...

[Flash-04]

Аппетиты на что растут? На диски для террабайтов? Ты так и не ответил про потолок.

Аппетиты по обработке массивов данных. Они то давно есть, просто каждый год их хотят обрабатывать все больше и больше. Сеть в нашей конторе огромная, кол-во компов исчисляется десятками тысяч, а логов они генерят, мама дорогая...

[Flash-04]

Глупые люди. Такие работы можно выполнять в фоновом режим без какого-либо ущерба для производства, а большего для такой обработки и не надо.

Ну да, видимо из-за своей глупости, конкурентов у них практически уже нет. Всё что похожее, существенно хуже.

[Flash-04]

И кстати Влад, меня Splunk в применении к DevOps не интересует от слова вообще. Меня он интересует только для обработки Security logs. Когда у тебя в конторе сидит порядка ста тысяч человек, это задача перестаёт быть тривиальной.

[Flash-04]

Нынешняя (Splunk) была спроектирована и потолок был известен заранее - 7 Tb в день. Вот только мы уперлись в него раньше чем наступил следующий бюджетный цикл расширения системы. Но технической проблемы нет - просто добавить серверов.

А вот купили бы МФ на 1000МИПС ничего делать не надо бы было, он бы это всё потянул. Что ему 7ТБ в день то?

Ну дураки разработчики Splunk, может даже дебилы. Ну никак MF не предлагают это при том что в нашей конторе он есть, и не один.

[zVlad]

И кстати Влад, меня Splunk в применении к DevOps не интересует от слова вообще. Меня он интересует только для обработки Security logs. Когда у тебя в конторе сидит порядка ста тысяч человек, это задача перестаёт быть тривиальной.

Секьюрити логи, если только вы не отслеживаете каждый шаг движения всего и везде, не могут давать 7TB в день даже если в конторе сидит 100 тысяч человек. У нас сидит порядка 10 000 и все используют мф. z/OS по секьюрити позволяет собирать любую статистику. Я собираю и храню вечно все события по изменению данных в реестре RACF, включая манипуляции с паролями. Я не знаю какой объем накопился с 2006 года, но видимо не великий раз даже знать об этом не надо.
Мы также примерно месяц храним все системные журналы и трассировку SMF. Причем была проведена работа на по минимизации объема трассировок до минимально необходимого. А если включить все в трассировках (performance class trace in DB2, например), то возможно у нас тоже по 7TB в день выплескивалось бы. Только это очень глупо бы было.
Не знаю как в вашей конторе решается вопрос значимости и ценности собираемых 7TB в день, насколько возможно контролировать уровни сбора. Так что по идее все может быть и может этот поток данных без ущерба ничему мог бы быть просто уменьшить до разумных размеров и конторе не надо было бы тратиться на хранение мусора информационного.

[zVlad]

Нынешняя (Splunk) была спроектирована и потолок был известен заранее - 7 Tb в день. Вот только мы уперлись в него раньше чем наступил следующий бюджетный цикл расширения системы. Но технической проблемы нет - просто добавить серверов.

А вот купили бы МФ на 1000МИПС ничего делать не надо бы было, он бы это всё потянул. Что ему 7ТБ в день то?

Ну дураки разработчики Splunk, может даже дебилы. Ну никак MF не предлагают это при том что в нашей конторе он есть, и не один.

Я конечно не сильно в нашем тихом омуте видел и общался с фирмами набодобие Splunk, но и моего достаточно чтобы понять их логику. Они в принципе не рассматривают возможность использования мф в качестве хостинга их продуктов. Но они рассматривают мф как сервер куда можно поставить агента для сбора мф-ской информации для из задач. Т.е. они знают что в конторах мф есть, но что под их продукты в таких конторах не надо было бы ничего нового (серверов) заводить, они либо не понимают либо намеренно игнорируют. Я рассказывал про RSA Aveksa, которая тоже имеет дело с данных по секьюрити. У нас под это создано было три сервера (пусть даже виртуальных) под Linux/WebSphere (я лично устанавливал те WS и деплоил Aveksa) и минимум два сервера под Оракл бд.
Я их JAVA приложение успешно продеплоил и успешно запускал в WS на z/OS, который у меня просто сохранился от прошлых, заброшенных проектов, и для которого на нашем мф есть specialty engine zIIP не используемый вообще потому что нечем (а этот engine по мощности равен как раз 1000 MIPS, на которых мы всю продакшн и девелопмент работу клиента выполняем!). Плюс на мф есть DB2 и создать бд для Aveksa было бы делом мгновений без покупки чего либо дополнительно.
Я сообщил людям из RSA об этом. Они ответили что ставить свой продукт на мф они не планируют. А я практически его поставил, оставались сущие пустяки чтобы это заработало на мф. Будь у меня их исходные материалы я бы сам их доработал до ума чтобы работало все на мф.
Другой пример это CyberArk. Есть и третий, самый болезненный для меня, но я об этом как-нибудь позже расскажу.
Так что я бы тебе настоятельно рекомендовал бы сконтактировать с вашими мф-щиками, возможно многие твои проблемы могут быть решены выполнением чего-нибудь в фоновом режиме (без импакта на другие работы) на ваших мф. Я бы с удовольствием тебе и вашей конторе помог бы с этим. И ведь мы рядом ходим. Подумай.

[Dmitry67]

Я конечно не сильно в нашем тихом омуте видел и общался с фирмами набодобие Splunk, но и моего достаточно чтобы понять их логику. Они в принципе не рассматривают возможность использования мф в качестве хостинга их продуктов. Но они рассматривают мф как сервер куда можно поставить агента для сбора мф-ской информации для из задач. Т.е. они знают что в конторах мф есть, но что под их продукты в таких конторах не надо было бы ничего нового (серверов) заводить, они либо не понимают либо намеренно игнорируют.

А графики и диаграммы что, ascii-art рисовать на МФ?

[zVlad]

Я конечно не сильно в нашем тихом омуте видел и общался с фирмами набодобие Splunk, но и моего достаточно чтобы понять их логику. Они в принципе не рассматривают возможность использования мф в качестве хостинга их продуктов. Но они рассматривают мф как сервер куда можно поставить агента для сбора мф-ской информации для из задач. Т.е. они знают что в конторах мф есть, но что под их продукты в таких конторах не надо было бы ничего нового (серверов) заводить, они либо не понимают либо намеренно игнорируют.

А графики и диаграммы что, ascii-art рисовать на МФ?

Я посмотрел графики которые рисует Splunk на данных с мф. Как бы сказать, чтобы не обидеть. Специалист добудет ответ на вопрос без таких графиков. Что и показывает мой личный опыт работы с этими данными. Например, меня спрашивали и не раз кто сделал некое изменение в бд тогда то. Я определял по времени в каком архиве журнала изменений это может быть. Затем я напускал на этот журнал утилиту с фильтром и она давала мне отчет все интересных мне изменений по интереующей меня таблице. Делался search в отчете, and ву-а-ля вот он голубчик и вот данные до и после изменения. Мой ответ -сделал пользователь с таким то аккаунтом.
Или другой случай, буквально на днях был, спрашивают меня когда залокированный (на мф, в RACF это называется revoked), по их сведениям, аккаунт был разлокирован и кем. Отвечаю: никогда залокирован никем не был. Определил это я с помощью простенького ad-hoc query на таблицу DB2 где у меня хранятся с 2006 года все изменения всех аккаунтов (user profile в терминологии RACF), и просмотра нескольких строк результатов. Из которых я также узнал что примерно в интересующее их время товарищ из Help Desk, несколько раз в течении дня менял пароль для этого аккаунта. Причем здесь графики.

Но я вовсе не против графиков и всяких других панелек. Приложение о котором я рассказывал что устанавливал его на мф в WebSphere - Aveksa - это сплошные окна и графики. Так вот оно бы так и работало на мф как было спроектированно - через браузер и всеми графиками и панельками и окнами. Дима, пойми, на дворе 21 век уже. И современный мф это продукт 21 века, более свежий - z14 - чем сервера на х86.

[zVlad]

Вот что еще хотелось бы обсудить с фанатами х86.
МФ где-то с начала 90х, а сервера SUN(Oracle) и IBM POWER с 2000х принято делить на партиции, что изначально называлось LPAR, где L это logical, но также называется physical virtualuzation. В каждой партиции независимо ни от чего, только от самого сервера, грузится любая OS, способная в принципе грузиться на такой сервер. Как я уже рассказывал наш маленький мф разбит на четыре партиции (на самом деле их там где-то восемь в конфигурации, но реально активными было не больше пяти).
В партиции может быть загружена система виртуальных машин и выполнять свой набор виртуальных машин, и таких систем может быть несколько на одном мф.
Изоляция высочайшая из имеющихся в природе - zSystem LPAR, согласно Flash-04, имеет EAL 5 сертификат.
Системы в партициях на мф плюс Coupling Facility в одной из партиций могут образовывать Parallel Sysplex, т.е. по вашему кластет.
Примерно тоже самое предлагает SUN/Оракл и IBM POWER сервера.

Вопрос: когда это будет на серверах x86? Ведь мощности то х86 серверов действительно достигли гигантских величин и никакая из известных ОС явно не в состоянии эффективно эти мощности загружать. Само собой напрашивается возможность делить мощный х86 на набор независимых, логических х86 партиций со своим OS в них.
Что мешает этому быть!

[Dmitry67]

Зачем? Современный мир идет по пути горизонтального скалирования. На x86 можно соорудить монстра, но куда гибче сделать ферму из 10-20 средних серверов. Так и железо на ходу можно менять, кстати

Современный highload таков, что ни один компьютер в одиночку с ним не справится. И задача стоит как раз полностью противоположная: не делить сервер на части, а умело объединять их

[zVlad]

Зачем? Современный мир идет по пути ....

Ответ принят. Собственно другого и не ожидалось, вопрос был заведомо риторический.

А вот по поводу куда может пойти "современный мир" я, Дима, предлагаю тебе собрать там в Питере людей интересующихся современным ИТ и я обещаю когда весной приeду в Питер провести занятие с ними по вопросам современно мира ИТ, о котором они не знают или знают мало. Сможешь? Сходи в универ свой, ну и куда сам считаешь возможным, потолкуйте, подумайте. Я денег за это не беру.

[iDesperado]

Влад, посмотри на ситуацию здраво. ты выполняешь обязанности DBA но не понимаешь, чего я от тебя хочу, когда прошу план запроса. ты не понимаешь из контекста когда под cpu понимается ядро, когда процессор. ну чему ты можешь научить ? поколение ЕГЭ может тебя поучить, но ты ничего адекватного молодежи не можешь ждать. только повод на насмешки.

[Dmitry67]

Зачем? Современный мир идет по пути ....

Ответ принят. Собственно другого и не ожидалось, вопрос был заведомо риторический.

А вот по поводу куда может пойти "современный мир" я, Дима, предлагаю тебе собрать там в Питере людей интересующихся современным ИТ и я обещаю когда весной приeду в Питер провести занятие с ними по вопросам современно мира ИТ, о котором они не знают или знают мало. Сможешь? Сходи в универ свой, ну и куда сам считаешь возможным, потолкуйте, подумайте. Я денег за это не беру.

Идти в универ за тем чтобы узнать как устроен современный IT? по моему это наихудшее место для этого

Квантовая механика да, математика да, IT - категорически нет, а современном IT разбираются те, кто в этом варятся, и большинству современных технологий меньше 5 лет

[zVlad]

...
Идти в универ за тем чтобы узнать как устроен современный IT? по моему это наихудшее место для этого

Квантовая механика да, математика да, IT - категорически нет, а современном IT разбираются те, кто в этом варятся, и большинству современных технологий меньше 5 лет

Ты меня не понял, Дима. Я про презентацию о современном ИТ. Там же у вас, в Питере, есть кафедры ИТ-шные и они что-то студентам преподают. Что знают то и преподают, по видимому. А я бы рассказал о том чего они не знают. И не только не знают в универе, но и среди питерских ИТ-шников вне универа, их тоже можно было бы привлечь. У меня были контакты в Питере, но в 80-е годы.

Почитай, Дима, про горизонтальное масштабирование в ракетостроении, про Королевскую ракету Н-1 для лунного проекта. Ракета может быть и получилась бы, но уж больно трудно было научить ее летать.

[zVlad]

Влад, посмотри на ситуацию здраво. ты выполняешь обязанности DBA но не понимаешь, чего я от тебя хочу, когда прошу план запроса. ты не понимаешь из контекста когда под cpu понимается ядро, когда процессор. ну чему ты можешь научить ? поколение ЕГЭ может тебя поучить, но ты ничего адекватного молодежи не можешь ждать. только повод на насмешки.

Я уверен, iDesperado, что ты хорошим специалист и хороший человек. Но ты не те цели перед собой ставишь и не на том зацикливаешься. Поэтому с тобой общаться не интересно, нет движухи с тобой - одно и тоже топтание на одном и том же месте. А надо двигаться, дорогой.

[Palych]

Почитай, Дима, про горизонтальное масштабирование в ракетостроении, про Королевскую ракету Н-1 для лунного проекта. Ракета может быть и получилась бы, но уж больно трудно было научить ее летать.

Кстати (off topic), сейчас почитал - Falcon Heavy имеет примерно столько же двигателей как в H1 (27 vs. 30).
Ещё одну советскую космическую идею злые буржуины украли и воплотили...