Computing power comparison: mainframe versus Intel Xeon

[Сабина]

[zVlad]

zVlad, одно дело говорить что тесты фиговые и надо было бы провести те же тесты в других, более адекватных условиях. Ну, как в моей области - конкурент N утверждает, что его решения в 100 раз лучше нашего (при этом махлюет на тестах). Мы делаем те же тесты в адекватных условиях и приводим данные, что наше решение в 1.5 раза лучше (ну или всего в 3 раза хуже вместо 100 раз, но мы приводим обьективные данные). Тесты воспроизводимые, любой может вникнуть в детали и прогнать самому.

И совсем другое дело, когда бы мы говорили - туфта вопрос и ваши тесты, и так всем понятно, что мы лучше всех и наши решения обладают магическим тёплым звуком и никаких тестов от конкурентов нам не нужно.

Как говорится, две большие разницы.

Чтобы такие тесты организовать и провести нужно иметь определенные ресурсы или быть приглашенным на такой тест в качестве спеца. У меня нет таких ресурсов и никто меня на такие тесты как спеца не приглашал.

Тем не менее я никогда не ссылался на магические способности MF, ни одного теста не отвергал, всегда внимательно их изучал и предоставлял свои замечания, которые естественно оставались и будут оставаться пустым звуком для тех кто такие тесты проводит. Воспроизводимых в моих скромных возможностях тестов у меня тоже не было, да никто и не даст мне использовать наши МФ чтобы всерьез их гонять если бы они даже и были бы.

Кстати, по существу моих конкретных замечаний к этому тесту у Вас есть что сказать?

[zVlad]

Где победили? Как? Крапленные карты в студию.

AWS, Google Cloud, тыщи более мелких public clouds и ни одного МФ.

А кто-нибудь пытался? Или хотя бы теоритически рассматривали такой вариант? Ответ нет. Иными словами битвы то и не было.
Да, ИБМ тоже предлагает cloud не на МФ, но ИБМ и cloud на МФ тоже предлагает и утверждает что это хорошо. Никто не делает? Да, нет наверняка кто-нибудь где-нибудь делает. Просто мы (я) об этом не знаем. Мы много чего не знаем.

[mskmel]

А кто-нибудь пытался? Или хотя бы теоритически рассматривали такой вариант? Ответ нет. Иными словами битвы то и не было.

"Одержать сто побед в ста битвах — это не вершина воинского искусства. Повергнуть врага без сражения — вот вершина."

[flip_flop]

Кстати, по существу моих конкретных замечаний к этому тесту у Вас есть что сказать?

Я немного запутался, мы на Вы, или на ты? Мне всё равно, но хотелось бы определиться.

Нет, сказать нечего, я не знаю состояние и особенности МФ на архитектурном/системном/программном уровне, я знаю немного на уровне железа, и всё.

Просто хотелось бы обьективной информации о производительности для какой угодно нагрузки. Есть много всякой разной информации о x86, power, sparc, arm, etc. Каздый производитель берёт тест и выжимает максимум для своих продуктов. Но нет информации для МФ. Мне кажется, сам факт отсутствия таких тестов говорит о многом - МФ слишком тяжелый, дорогой, и закрытый, чтобы гонять на нём тесты. А лёгкие, открытые, дешёвые системы на х86 позволяют легко прогнать огромное число разных тестов.

Тот факт, что битвы за клауды не было, тоже говорит о многом. Без битвы, х86 легко заняли >90% рынка серверных процессоров. Факт, от которого нельза отмахнуться. Можно философствовать о причинах отсутствия битвы, но факт занятия поля боя (даже без битвы) не подвергается сомнению.

Простите Вашего кэпа за тривиальный очевидный пересказ того, что "Волга впадает в Каспийское море"

[zVlad]

flip_flop, конечно давай на ты.
В приложениях с базами данных существенную роль играет размер памяти которую можно использовать для размещения данных в памяти поскольку данные в памяти достаются намного быстрее чем данные на дисках. Конечно, если размер базы данных скажем 4 GB, то что сервер в 8GB RAM, что 1024 GB разницы нет, но если БД больше терабайта, то разница может быть очень существенна.
Этот надеюсь тебе это понятно и ты можешь прокомментировать тест с такой огромной разницей размера RAM участников? 128 кратная разница тебя не удивляет? Ты считаешь что память компьютера не существенно влияет на его производительность безотносительно как компьютер называется? Не заставляй меня думать о тебе плохо, дружище.

[Dmitry67]

Вообще маркетологов IBM можно пожалеть. Как рекламировать?

Числодробилка? Как мы знаем, тут плохо, а с учетом цены, очень плохо. IO? Но локальный SSD с Интел дает совершенно фантастические показатели. Можно сказать конечно, что локальный SSD это не Enterprise решение. Может подключить внешний storage, допустим, EMC? Но тогда при чем IBM, тем более, что тот же EMC можно подключить к дешевому Интел.

Может хотя бы базы? Но тут DB2 не блещет, а с учетом того что на Интел легко покупается терабайт памяти под кэш, все совсем кисло. По этой же причине целое современное направление in-memory database идет мимо.

Остается скрывать данные и упоминать мифическую "смешанную нагрузку"

[flip_flop]

Хе-хе, согласен с гигантским влиянием памяти на производительность, сам же об этом пропагандировал много лет тому назад. Что бы хотелось - чтобы Xeon показал на что он способен при нескольких ТБ памяти, и чтобы МФ показал на что он способен при сколько то там памяти.

[zVlad]

Хе-хе, согласен с гигантским влиянием памяти на производительность, сам же об этом пропагандировал много лет тому назад. Что бы хотелось - чтобы Xeon показал на что он способен при нескольких ТБ памяти, и чтобы МФ показал на что он способен при сколько то там памяти.

А какие, интересно, ты бы мог предсказать результаты если бы вместо МФ в этом "исследовании" участвовал бы HP DLxxx с (2)двумя корами, 8 GB RAM и 4х2 Gb/s Fiber Channel HBAs?

Ты говорил что: "Мы делаем те же тесты в адекватных условиях и приводим данные, что наше решение в 1.5 раза лучше (ну или всего в 3 раза хуже вместо 100 раз, но мы приводим обьективные данные). Тесты воспроизводимые, любой может вникнуть в детали и прогнать самому. ". Вот сделай такой тест, это будут адекватные условия и можно будет вникнуть в детали.

[flip_flop]

Хе-хе, согласен с гигантским влиянием памяти на производительность, сам же об этом пропагандировал много лет тому назад. Что бы хотелось - чтобы Xeon показал на что он способен при нескольких ТБ памяти, и чтобы МФ показал на что он способен при сколько то там памяти.

А какие, интересно, ты бы мог предсказать результаты если бы вместо МФ в этом "исследовании" участвовал бы HP DLxxx с (2)двумя корами, 8 GB RAM и 4х2 Gb/s Fiber Channel HBAs?

Ты говорил что: "Мы делаем те же тесты в адекватных условиях и приводим данные, что наше решение в 1.5 раза лучше (ну или всего в 3 раза хуже вместо 100 раз, но мы приводим обьективные данные). Тесты воспроизводимые, любой может вникнуть в детали и прогнать самому. ". Вот сделай такой тест, это будут адекватные условия и можно будет вникнуть в детали.

Э нет, дружище, давай лучше и Xeon и МФ используют по максимуму памяти и всего остального. Левых тестов много, я на них внимания не обращаю, однако это не отменяет честное тестирование. Лучше всего, когда каждый производитель тестирует сам и только свой продукт. Идём по кругу.

[flip_flop]

Хе-хе, согласен с гигантским влиянием памяти на производительность, сам же об этом пропагандировал много лет тому назад. Что бы хотелось - чтобы Xeon показал на что он способен при нескольких ТБ памяти, и чтобы МФ показал на что он способен при сколько то там памяти.

А какие, интересно, ты бы мог предсказать результаты если бы вместо МФ в этом "исследовании" участвовал бы HP DLxxx с (2)двумя корами, 8 GB RAM и 4х2 Gb/s Fiber Channel HBAs?

Ты говорил что: "Мы делаем те же тесты в адекватных условиях и приводим данные, что наше решение в 1.5 раза лучше (ну или всего в 3 раза хуже вместо 100 раз, но мы приводим обьективные данные). Тесты воспроизводимые, любой может вникнуть в детали и прогнать самому. ". Вот сделай такой тест, это будут адекватные условия и можно будет вникнуть в детали.

Э нет, дружище, давай лучше и Xeon и МФ используют по максимуму памяти и всего остального. Левых тестов много, я на них внимания не обращаю, однако это не отменяет честное тестирование. Лучше всего, когда каждый производитель тестирует сам и только свой продукт. Идём по кругу.

P.S. Ушёл на работу, буду занят, отвечу вечером.

[flip_flop]

Ну вот. Вернулся. Пробежал. Как и ожидалось, железо z14 вполне достойно уважения:
https://www.ibm.com/developerworks/comm ... 0Pitch.pdf

Смотрим страницу 11. Памяти до 32 ТБ. Процессоров можно нашпиговать до 170. 170, Карл! Проектирование процессоров (из другого источника) тоже выполнено на уровне, увеличили обьём eDRAM для LLC, всякие RAS усилиены, бегает быстро, при сильном водяном охлаждеии, дорогом тех. процессе, экзотических методов упаковки (как всегда) и т.д. - но факт, бегает быстро.

Теперь злополучный вопрос, почему бы не выкатить хоть-какие то "правильные" тесты на такой себе вполне мощной машинке?

С другой стороны, HP могло бы выкатить нечто подобное для "scale up" сервера. Типа 32/64 Хеон-а, 48/96 TB памяти и т.д. Прогнали бы те же тесты, сравнили бы абсолютные показатели производительности, производительность на Ватт, производительность на площадь, производительность на доллар. Ну, как в мире Xeon/Ryzen/Power/Sparc/ARM based servers.

Почему тестов не было, нет, и не будет?

[Serguei666]

Хоть я ни разу не мейнфремщик, даже мне очевидна ущербность сравнений MIPS без учета всего остального. У MF надежность пять девяток, а у x86? Есть MF, которые работают лет 20 без выключения, причем все железо было заменено на новое на работающей системе.

Могу себе представить, какова надежность источника питания для этого "лет 20 без выключения"

[Flash-04]

При этом серверы x86 того же IBM так себе. Мне в руки попал уже списаный такой сервер, 2 из 4х дисков подыхали, ещё на что-то он лампочками жаловался (хотя продолжал работать) и было ему лет 10.

[iDesperado]

Проектирование процессоров (из другого источника) тоже выполнено на уровне, увеличили обьём eDRAM для LLC, всякие RAS усилиены, бегает быстро, при сильном водяном охлаждеии, дорогом тех. процессе, экзотических методов упаковки (как всегда) и т.д. - но факт, бегает быстро.

Теперь злополучный вопрос, почему бы не выкатить хоть-какие то "правильные" тесты на такой себе вполне мощной машинке?

С другой стороны, HP могло бы выкатить нечто подобное для "scale up" сервера. Типа 32/64 Хеон-а, 48/96 TB памяти и т.д. Прогнали бы те же тесты, сравнили бы абсолютные показатели производительности, производительность на Ватт, производительность на площадь, производительность на доллар. Ну, как в мире Xeon/Ryzen/Power/Sparc/ARM based servers.

Почему тестов не было, нет, и не будет?

факт как раз в том что бегает не быстро, при этом в сотни раз дороже. а тесты у HP есть. пока у IBM было чем похвастать и IBM в нормальных тестах участвовали. но в двузтысячных интел сильно подтянулся, начал собирать кластера и МФ начал выглядеть в тестах чудовищно кисло. после этого перестали публиковать тесты. а HP sap-sd тесты публикует исправно.
на былое участие МФ можно посмотреть тут: https://www.sap.com/about/benchmark/app ... robin.html

[iDesperado]

https://www.platformmodernization.org/h ... ePaper.pdf

Много букaв, цифер, картинок и прочего интересного. Надеюсь на плодотворное продолжение дискуссии.

от Влада все та же тупая клоунада, а в документе как я и говорил - мой ноутбук много мощнее. виртуалка на 2 x86 ядра с 64-гб рам в двое более производительней 1088 MIPS. в моем ноутбуке 4 ядра, в двое больше.
то что там еще и DL980 с 1Тб тестировали лишь показывает какая глубина пропости с современным МФ, где 8гб на 1000 MIPS действительно стандарт и стоит миллионы.

5 дней за этот пост и пост ниже

[mskmel]

Смотрим страницу 11. Памяти до 32 ТБ. Процессоров можно нашпиговать до 170. 170, Карл!

Ага, только стоить оно будет как 10000 ядер х86 и 200ТБ памяти на х86.

Вот тут вполне таки официальный калькулятор https://extbasicdsgtool.podc.sl.edst.ib ... /linuxone/ Единственное в чем оно побеждает х86 это экономия на лицензиях, которые очень эластичные по цене и совсем не всем нужны. Чисто железо в ~2 раза дороже.
Для ленивых 200 rack серверов: x86 5.5M$, LinuxOne 9.8M$
Почему по 25k$ за х86 сервер оставим на совести IBM.

[zVlad]

Я поставил перед модераторами ультиматум: либо они приведут iDesperado в рамки нормального, соотвествующего требованиям Привета поведения, либо я прекращаю свое участие навсегда - пусть он резвится как ему хочется.
Еще одна выходка iDesperado и все, привет. Мне есть чем заниматься по жизни более приятным чем воспитывать непонятно кого хорошим правилам поведения.

[iDesperado]

Я поставил перед модераторами ультиматум: либо они приведут iDesperado в рамки нормального, соотвествующего требованиям Привета поведения, либо я прекращаю свое участие навсегда - пусть он резвится как ему хочется.
Еще одна выходка iDesperado и все, привет. Мне есть чем заниматься по жизни более приятным чем воспитывать непонятно кого хорошим правилам поведения.

нечем тебе заняться, потому и занимаешься тупым тролингом, отнимая время. тупой тролинг точно так же запрещен правилами. ведь и тут ты прекрасно видел что HP тестировала тучу конфигураций, не только с 1ТБ, но все равно устроил тупой тролинг. если тролишь, получаешь совершенно адекватную характеристику - КЛОУН.

5 дней бана. За этот пост и пост выше. Категорически запрещено на форуме некорректные методы спора, провоцирование, обзывания, необоснованные обвинения, и тем более продолжать это делать сознательно.

[zVlad]

Чем больше я думаю про тот тест что мы обсуждаем тем больше он мне нравится как основа для объективного анализа и демонстрации возможностей мф и серверов на х86.
Именно как основа, которую можно было бы довести до состояния когда сравниваются яблоки с яблоками, а апельсины с апельсинами.
Конечно наш маленький коллектив ее сможет провести никаких натурных испытаний, но поговорить теоритически о том что не так реализованно НР именно в этом испытании и что надо было бы сделать чтобы это стало объективным и технически корректным мы наверняка сможем. Наверное сможем даже составить проект испытаний проведение которого не вызывало бы нареканий ни одной из сторон.
Согласны?
Первый шаг. Необходимо подобрать такую конфигурацию мф и сервера х86 чтобы они либо были одинаковы по внешним общеизвестным параметрам:
- количество cores на сопоставимой частоте работы;
- размер RAM, не обязательно один к одному но не в 128 раз разные,
- количество и скорости интерфейсов к памяти на внешних дисках, и сетевых интерфейсов. Никаких switches, или одинаковые switches и там и там,
- одинаковый тип внешних дисков: SSD или магнитные диски.

Приэтом лучше подобрать такие конфигурации где все, или почти все, возможные расширения будут использованны. Это будет важно на этапе анализа TCA. В во многих тестах, и в этом, используется LPAR, а цена берется на всю установку. Так не должно быть, если уж мы хотим понять что сколько стоит то надо брать то что продается полностью нафаршированным.
Согласны с такой постановкой?
Еслм да то тут есть два варианта: либо мы берем модели 2012 года, как в тесте, либо мы берем то что есть сегодня.
Могу сразу сказать что даже на этом, казалось бы простом и понятном подборе "бойцов" нас ждут большие трудности, и не факт что мы найдем сопоставимые по этим параметрам конфигурации мф и сервера х86. Тем более что там еще есть внутренний кэш.
Тем не менее. Какие будут идеи?

[Dmitry67]

Как насчет такой идеи: имеется workload и одинаковая сумма денег, "команда" Intel и Wintel могут использовать их по своему усмотрению, хочешь больше в диски, хочешь в процы или память?

[zVlad]

Ну вот. Вернулся. Пробежал. Как и ожидалось, железо z14 вполне достойно уважения:
https://www.ibm.com/developerworks/comm ... 0Pitch.pdf

Смотрим страницу 11. Памяти до 32 ТБ. Процессоров можно нашпиговать до 170. 170, Карл! Проектирование процессоров (из другого источника) тоже выполнено на уровне, увеличили обьём eDRAM для LLC, всякие RAS усилиены, бегает быстро, при сильном водяном охлаждеии, дорогом тех. процессе, экзотических методов упаковки (как всегда) и т.д. - но факт, бегает быстро.

Теперь злополучный вопрос, почему бы не выкатить хоть-какие то "правильные" тесты на такой себе вполне мощной машинке?

С другой стороны, HP могло бы выкатить нечто подобное для "scale up" сервера. Типа 32/64 Хеон-а, 48/96 TB памяти и т.д. Прогнали бы те же тесты, сравнили бы абсолютные показатели производительности, производительность на Ватт, производительность на площадь, производительность на доллар. Ну, как в мире Xeon/Ryzen/Power/Sparc/ARM based servers.

Почему тестов не было, нет, и не будет?

Ты не поверишь, но я вчера хотел обратить твое внимание на эту информацию. В другом доке, но именно об этом. В плане что с 2012 года МФ существенно подрос. Я полагаю и сервера на х86 тоже подросли, но подозреваю (меня поправят) не так существенно. То что было в 2012 - z10 - это 64 процессора и 1.5 TB RAM.

Но. Вот такой "вполне мощной машинки" полностью нафаршированной еще никто долго даже не закажет у IBM. Эти все параметры на вырост, и как я слышал теперь новое семейство МФ долго не появится поэтому, потому что глать мощности в исполнении одного сервер уже практически некуда, да и незачем. Имей еще в виду, кстати, что в серьезных конторах такие МФ работает в связках с несколькими блэйд стойками, zBX.

А собственно те тесты что предложены в обсуждаемом документы мне, лично, вполне подходят. Можно ими испытывать конфигурации и делать какие-то выводы. Вот только эти тесты надо тоже грамотно применять. Например: не надо гонять одно пакетное задание, это настоящая глупость, и во-вторых надо OLTP процесс гонять вместе с пакетными заданиями. В HP документе, увы, применялись тесты OLTP и пакетного режима порознь, это не типично для МФ, о чем впрочем в отчете сказано, и даже сделаны были какие-то прогоны смеси на x86, но таких прогонов на z10 показано не было. Это никуда не годно, но мы можем это поправить, верно?

[zVlad]

Смотрим страницу 11. Памяти до 32 ТБ. Процессоров можно нашпиговать до 170. 170, Карл!

Ага, только стоить оно будет как 10000 ядер х86 и 200ТБ памяти на х86.

Вот тут вполне таки официальный калькулятор https://extbasicdsgtool.podc.sl.edst.ib ... /linuxone/ Единственное в чем оно побеждает х86 это экономия на лицензиях, которые очень эластичные по цене и совсем не всем нужны. Чисто железо в ~2 раза дороже.
Для ленивых 200 rack серверов: x86 5.5M$, LinuxOne 9.8M$
Почему по 25k$ за х86 сервер оставим на совести IBM.

Вот это вот уже давно ни для кого не является тайной. ТCA на железо был есть и будет долго еще наиболее экономным в виде x86. Из-за этого скоро и SUN техника и IBM Power сервера будут заменены на х86 сервера. Я так думаю, но могу и ошибаться.

Выгода от МФ для софта, которое может сравится на разные платформы: Linux, Java, Oracle только в том заключается что при той же ценовой политике, отталкивающейся от количество cores, за счет того что этих cores с случае МФ нужно гораздо меньше вариант на МФ выигрывает даже в TCA для совокупности железа и софта. Случай использования бесплатного софта на МФ не рассматривается вообще потому что пользователи МФ такого для себя не допускают на любой платформе. Кстати, в документе HP есть много вздохов по поводу ИБМ-ской политики относительно PVUs для z и для x86 (см. стр. 3 сверху до середины).

Но по настоящему МФ раскрывается вовсе не на Linux, Java, Oracle, а на z/OS, DB2 for z/OS и WebSphere(Java) for z/OS.

[zVlad]

Как насчет такой идеи: имеется workload и одинаковая сумма денег, "команда" Intel и Wintel могут использовать их по своему усмотрению, хочешь больше в диски, хочешь в процы или память?

Ты упустил МФ?
Идея интересная, но прежде чем переходить к деньгам я бы занялся построением этой workload, и поиском минимальных в терминах параметров ВТ (cores, RAM, Gb/sec) конфигураций в то же время грузящей конфигурации до упора и чтобы эти конфигурации были полностью нафаршированные единицы продажи. Чтобы, другими словами, не участвовал "пустой" МФ высокого класса, ну и конечно "пустой" HP DLxxx.
Пусть не 100% полные но не так как в обсуждаемом HP дoкументе, где мы имеем дело с 2 процессорами, 8 GB RAM, двумя картами ввода-вывода из "шкaфа" z10 где может быть 64 процессора, 1.5 TB, и порядка сотни карт ввода-вывода.
Согласен?