Docker for zOS. Что это и зачем?

[Palych]

... и это выливается в росте очередей и снижению респонс тайм. Поскольку у нас OLTP приложение, то пользователи начинают роптать, перелогиниваться, перезапускать задания. Т.е. еще больше грузить систему тупыми повторами. Все рано или поздно выполняется, ничего не падает, но дольше.

Кстати, мы эту проблему решали достаточно эффективно, в довольно большом масштабе:
Когда пользователь запрашивает какую-нибудь транзакцию - он так или иначе ограничен во времени ожидания.
Если это время передавать вниз по цепочке вызовов сервисов (вычитая каждый раз уже потраченное время) - можно распознать момент когда транзакция точно не будет выполнена в указанное время, и ответить: "Вы даёте нереальные планы! Этот... как его... Волюнтаризм!"
Для этого правда приходится заглянуть в будущее, чтобы узнать сколько транзакция будет выполняться. Но для мыслящего человека это не проблема.

[iDesperado]

Но, даже без теоритических обоснований только для БД с мф подготовили 16 cpu, 256 GB и не факт что хватит.

мартышка так и не отличает cpu от cores и vcpu

Я согласен что догмат о разделении AS и DB (он кстати не совсем современный, ему лет 20) порождает кучу проблем, зачастую на пустом месте.

ну проблем все же сильно меньше чем таким же анонизмом заниматься в бд. вот сколько надо выделить пользовательским процессам в бд с их pl/sql кодом ? там то вообще памятью не дают управлять. в реале получается в pl/sql ты вообще никак не управляешь и только страдаешь, а в жава у тебя 100500 вариантов GC и offheap если хочется совсем вручную порулить.
а разделяют AS от бд зачастую потому как перфоменс кратно вырастает за счет памяти. на двух серверах в двое больше памяти, у AS кеш, у базы сильно больше кеш. достать данные из кеша дб по нетворку в сотни более быстрая операция, чем юлозить головками HDD в рамках одного сервера. т.е. на двух серверах гораздо больше шансов засунуть активную часть данных в память и снизить на порядок требования к i/o.

/mod on/ вне зависимости от того кто прав или нет такие обращения недопустимы/mod off/

[iDesperado]

Для этого правда приходится заглянуть в будущее, чтобы узнать сколько транзакция будет выполняться. Но для мыслящего человека это не проблема.

это уже работает. запускаю джобу - датабрикс видит, херасе, 10Тб перемалоть, добавляет в кластер на лету дополнительно 8 нод. после расчета эти 8 выключает.

[Мальчик-Одуванчик]

Но, даже без теоритических обоснований только для БД с мф подготовили 16 cpu, 256 GB и не факт что хватит.

так и не отличает cpu от cores

Я правильно понял что в имеющемся у zVlad мэйнфрейме стоит 4 шестиядерных проца и только 32 гига памяти?

У меня на дешевейшей китайской материнке, специально сделанной для выводящихся из эксплуатации оптеронов, стоит 32 гига памяти. Но даже на 16 ядер как-то маловато.
Я там как раз докеры пускаю, изображающие несколько компов.

[iDesperado]

Я правильно понял что в имеющемся у zVlad мэйнфрейме стоит 4 шестиядерных проца и только 32 гига памяти?

нет, это ближе к ядрам. т.е. у него плата, на нем гигантский чип, в одном чипе 8 мейнфреймовских cpu. 4 cpu им позволяют использовать, 4 в резерве. то же самое с памятью, на самом деле там полно памяти, но она простаивает, т.к. активировать чудовищно дорого. в разы дешевле купить несколько x86 и там гонять java app, получая гораздо больший уровень реданденси и перфоменса. хотя бы за счет памяти.

[Bobeg]

а по поводу процессоров в меинфрейме з15, я почитал. горячий процессор. 500 ватт. но 5.2 гигагерца. 12 коров. каждая кора может ранать два треда ексекьюшена.
очень много кеша на каждой коре. гораздо больше чем на наших привычных амд интелах.
ну и типа в одной коробочке з15 хранит четыре таких штуковины. а коробочек может быть много. скажем 16 процессинг юнитов у простого сингл фрейм компутера.
192 коров на одном фрейме.

лютый киск. странные инструкции которых нет в обычных процессорах типа как децимал инструкции, компрессионные инструкции.

[zVlad]

Но, даже без теоритических обоснований только для БД с мф подготовили 16 cpu, 256 GB и не факт что хватит.

так и не отличает cpu от cores

Я правильно понял что в имеющемся у zVlad мэйнфрейме стоит 4 шестиядерных проца и только 32 гига памяти?

У меня на дешевейшей китайской материнке, специально сделанной для выводящихся из эксплуатации оптеронов, стоит 32 гига памяти. Но даже на 16 ядер как-то маловато.
Я там как раз докеры пускаю, изображающие несколько компов.

Нет, Вы поняли не правильно. Читать здесь (в начале 3-ей страницы если лень читать все):

https://www.ibm.com/downloads/cas/A8NB3NRZ

Поменьше слушайту гопоту форумскую.

[zVlad]

а по поводу процессоров в меинфрейме з15, я почитал. горячий процессор. 500 ватт. но 5.2 гигагерца. 12 коров. каждая кора может ранать два треда ексекьюшена.
очень много кеша на каждой коре. гораздо больше чем на наших привычных амд интелах.
ну и типа в одной коробочке з15 хранит четыре таких штуковины. а коробочек может быть много. скажем 16 процессинг юнитов у простого сингл фрейм компутера.
192 коров на одном фрейме.

лютый киск. странные инструкции которых нет в обычных процессорах типа как децимал инструкции, компрессионные инструкции.

А Вы думаете cloud data centers холодные?

[Bobeg]

а по поводу процессоров в меинфрейме з15, я почитал. горячий процессор. 500 ватт. но 5.2 гигагерца. 12 коров. каждая кора может ранать два треда ексекьюшена.
очень много кеша на каждой коре. гораздо больше чем на наших привычных амд интелах.
ну и типа в одной коробочке з15 хранит четыре таких штуковины. а коробочек может быть много. скажем 16 процессинг юнитов у простого сингл фрейм компутера.
192 коров на одном фрейме.

лютый киск. странные инструкции которых нет в обычных процессорах типа как децимал инструкции, компрессионные инструкции.

А Вы думаете cloud data centers холодные?

Дата центры очень горячие и очень шумные.
Но я не об этом.

500 ватт на один процессор это ж круть. Пишут что половину этой мощности тратит огромный кеш. Процессор разогнан до очень высокой скорости и оптисизирован под скорость, не под экономию.
Так что устройство лютое. Не знал таких подробностей раньше.

[Bobeg]

РАМ у мейнфрейма тоже может быть очень большой. Если скажем простому человеку кажется что 1-4 терабайта это много рама то у мейнфрейма рама может быть значительно больше. Пишут про 40 тб.

[Bobeg]

Хорошая машынка для биг даты, удобная.

[zVlad]

а по поводу процессоров в меинфрейме з15, я почитал. горячий процессор. 500 ватт. но 5.2 гигагерца. 12 коров. каждая кора может ранать два треда ексекьюшена.
очень много кеша на каждой коре. гораздо больше чем на наших привычных амд интелах.
ну и типа в одной коробочке з15 хранит четыре таких штуковины. а коробочек может быть много. скажем 16 процессинг юнитов у простого сингл фрейм компутера.
192 коров на одном фрейме.

лютый киск. странные инструкции которых нет в обычных процессорах типа как децимал инструкции, компрессионные инструкции.

А Вы думаете cloud data centers холодные?

Дата центры очень горячие и очень шумные.
Но я не об этом.

500 ватт на один процессор это ж круть. Пишут что половину этой мощности тратит огромный кеш. Процессор разогнан до очень высокой скорости и оптисизирован под скорость, не под экономию.
Так что устройство лютое. Не знал таких подробностей раньше.

Вы смотрите на мф с максимально возможной конфигурацией. Большенство использований МФ ограничиваются гораздо меньшими конфигурациями. Про наш МФ я написал выше все.
Я прямо сейчас на митинге по уходу с МФ. Докладчик бойко доложил сколько интел серверов(вм) уже построили и сказал что остается еще 17 чтобы приобрести (in Azure) и зарядить. Уже заряжены порядка 20.
Я не стану утверждать что все эти сервера заменят тот один, маленький, мф, который сейчас ядро этого приложения - DB, AS. Но под DB взят сервер с 16 cores и 256GB. Количество AS в Azure будет 11!?, вместо тех 5-ти что живут в той же систем на МФ где и ДБ и где во второй партиции живут все осталь[ные Dev, QA, Training, etc...

[zVlad]

Хорошая машынка для биг даты, удобная.

Нет, не удобная. МФ не используется ни для чего одного, будь это бигдата или числодробилка. МФ используется как целая инфраструктура с набором всех стандартных серверов (DB, AS...), сервисов, мониторов, балансеров, DNS, AD, printing, file servers, NFSs, FTP servers, network routers, можете сами добавить что хотите серверное и сетевое.

Big data в принципе распределенная архитектура. МФ предоставляет централизацию всего на одном системе или нескольких в Parallel Sysplex - типа кластер, который может жить и на одном МФ.

P.S. IBM рекомендует (и я с ними полнозтью согласен) рассматривать МФ не как сервер, а как data center со всей инфраструктурой исключая storage on disks, and tapes. Другими словами это не только технически возможно, но и широко используется (хотя бы в самой IBM) в таком виду что на МФ реализована вся инфраструктура стандартного приложения обработки данных в различных областях бизнеса и дополнительно к самому МФ нужны только диски, ленты и выход в LAN, или WAN для связи с конечными пользователями через любые их устройства: десктопы, лаптопы, smartphones, etc... Причем на МФ может и не быть zOS.

[iDesperado]

РАМ у мейнфрейма тоже может быть очень большой. Если скажем простому человеку кажется что 1-4 терабайта это много рама то у мейнфрейма рама может быть значительно больше. Пишут про 40 тб.

не может быть. активировать 40Тб по деньгам превысит бюджет канады

Но под DB взят сервер с 16 cores и 256GB.

а когда тебя попросят сделать скриншот выяснится что это азуровские vcpu, а не cores

[zVlad]

а по поводу процессоров в меинфрейме з15, я почитал. горячий процессор. 500 ватт. но 5.2 гигагерца. 12 коров. каждая кора может ранать два треда ексекьюшена.
очень много кеша на каждой коре. гораздо больше чем на наших привычных амд интелах.
ну и типа в одной коробочке з15 хранит четыре таких штуковины. а коробочек может быть много. скажем 16 процессинг юнитов у простого сингл фрейм компутера.
192 коров на одном фрейме.

лютый киск. странные инструкции которых нет в обычных процессорах типа как децимал инструкции, компрессионные инструкции.

Вы ничего не сказали о каналах ввода-вывода, OSAs, криптокарты, SSD, и другие допустройства, которые тоже там есть и у всех у них есть свои процессоры и память.

[voyager3]

Уже давно задержки при передаче по сети на разумные расстояния пренебрежимо малы по сравнению с тормозами диска. Недаром RDMA всерьёз стали использовать. Есть, конечно мудрецы, у которых БД в Цюрихе, а приложение в Лондоне, и связаны они через бомж-провайдера, но, как говорится, при большом желании можно и бескостные части тела сломать.

[Bobeg]

а по поводу процессоров в меинфрейме з15, я почитал. горячий процессор. 500 ватт. но 5.2 гигагерца. 12 коров. каждая кора может ранать два треда ексекьюшена.
очень много кеша на каждой коре. гораздо больше чем на наших привычных амд интелах.
ну и типа в одной коробочке з15 хранит четыре таких штуковины. а коробочек может быть много. скажем 16 процессинг юнитов у простого сингл фрейм компутера.
192 коров на одном фрейме.

лютый киск. странные инструкции которых нет в обычных процессорах типа как децимал инструкции, компрессионные инструкции.

Вы ничего не сказали о каналах ввода-вывода, OSAs, криптокарты, SSD, и другие допустройства, которые тоже там есть и у всех у них есть свои процессоры и память.

я об этом низнаю ничего. я хотел просто понять чем в принципе процессоры мейнфрейма отличаются от обычных зионов и амд.
теперь узнал. весьма интересно.

[Bobeg]

а следующий мейнфрейм процессор будет на семи нанометрах. телум.
количество коров увеличивается в два раза.
классная штука выходит.

[zVlad]

а следующий мейнфрейм процессор будет на семи нанометрах. телум.
количество коров увеличивается в два раза.
классная штука выходит.

Поверьте мне классность МФ вовсе не в этом. Редко когда у IBM заказывают МФ с такими сумашхедшхими количествами кор. В большенстве случаев хватает меньше.
Классность МФ в zOS и в том что на нем можно выполнять большие фермы Linux, no Linux всех прелестей МФ использовать не может потому что МФ заточен под zOS, a zOS заточен под МФ. Это связка, тесная связка. Они вместе и одновременно растут. Linux лишь теоритически может использовать все возможности МФ, но для этого ему придется стать zOS, в том смысле чтобы обеспечить функциональность zOS и качества. А зачем? Уже есть один. Частично создана возмозность использовать больше МФ - через zCX (Dockers).

[Bobeg]

то есть Вы, зВлад, против применения линукса на мейнфрейме, потому что вы больше любите зОС, я правильно понимаю?

[zVlad]

то есть Вы, зВлад, против применения линукса на мейнфрейме, потому что вы больше любите зОС, я правильно понимаю?

Не совсем. Дело вовсе не в любви к zOS(MVS). В 80-е, начале 90-х и до конца я был фанатом VM (zVM). MVS я понимал через призму опыта работы с OS/360, SVS, TKS BOS, т.е систем до MVS. Ничего хорошего из того опыта сказать было невозможно. Системы те были ненадежными, капризными, тяжелыми. TKS был лучшим в этом смысле. Германская штучка. VM по сравнению с ними - бабочка, и пуля одновременно. Под VM же я гонял аналог старых ОС с элементами MVS на виртуальных машинах и считал что это лучшее для приложений требующих эту систему. Такк оно было на самом деле, но это были не те масштабы где MVS нужен и оправдан.
В MVS многое из тех систем было сохранено (JES2, TSO, VTAM, VSAM,...), но и добавлено (DFSMS, TCP/IP, ...). DB2 for MVS! Но это уже совсем другая, как оказалась, систем. Узнал я об этом только после 2006 года когда стал работать системным программиста zOS и прошел кучу IBM курсов по ней. Ну и конечно непосредственная работа, решение проблем, наблюдение внесли свою лепту в, если хотите, любовь к zOS.
Почитайте статью на Вики про MVS. Обратити особое внимание на сердства восстановления и контроля выполнения. Это базовые принципы которых нет нигде. С памятью MVS работает не так как принято в системах на Intel. Work Load Manager (WLM) наконец. Фактически MVS это виртуальные машины для MVS. Есть сходство с Docker = (примерно, похоже) JES2, плюс сам MVS. И Unix = zOS.

[Bobeg]

мне не понять ... слишком я об этом мало знаю. мой опыт работы с вмс ограничен моим временем в квинс колледже где все что я мог делать это засылать программу на паскале и получать назад через некоторое время сообщение об ошибке компиляции. или иногда текст выполнения.
это была айбиэм 370, середина девяностых. собственно в союзе я успел посидеть перед черно-зеленым терминалом советского аналога системы 360.
а в америке даже к терминалу не подпустили.
я уже забыл как нужно было закидывать текст программы. то ли посылать по е-меилу, то ли еще как-то странно. не помню. какойто доморощеный метод разработаный местными профессОрами. издевательство было то еще. естественно никто не хотел работать с тем мейнфреймом, когда можно было тот же текст загнать в турбопаскаль и получить результат немедленно.

[alex_127]

Уже давно задержки при передаче по сети на разумные расстояния пренебрежимо малы по сравнению с тормозами диска. Недаром RDMA всерьёз стали использовать. Есть, конечно мудрецы, у которых БД в Цюрихе, а приложение в Лондоне, и связаны они через бомж-провайдера, но, как говорится, при большом желании можно и бескостные части тела сломать.

у вас в посте противоречие между строчками. а еще со скоростью света, которую так просто не отменить.

[voyager3]

у вас в посте противоречие между строчками. а еще со скоростью света, которую так просто не отменить.

Вы, наверное, не вчитались. У самих же диски отдельно, вычислительная часть отдельно.

[Мальчик-Одуванчик]

Но, даже без теоритических обоснований только для БД с мф подготовили 16 cpu, 256 GB и не факт что хватит.

так и не отличает cpu от cores

Я правильно понял что в имеющемся у zVlad мэйнфрейме стоит 4 шестиядерных проца и только 32 гига памяти?

У меня на дешевейшей китайской материнке, специально сделанной для выводящихся из эксплуатации оптеронов, стоит 32 гига памяти. Но даже на 16 ядер как-то маловато.
Я там как раз докеры пускаю, изображающие несколько компов.

Нет, Вы поняли не правильно. Читать здесь (в начале 3-ей страницы если лень читать все):

https://www.ibm.com/downloads/cas/A8NB3NRZ

Поменьше слушайту гопоту форумскую.

"The H06 and H13 are designed with up to 6 and 13 configurable cores."

Вы написали что у Вас в конфигурации 4 процессора (H06 или H13?)

Или Вы имели ввиду один процессор с 4 ядрами?