Storage: две непримиримые школы

[zVlad]

У нас как раз сейчас идет имплементация двухлетнего проекта переноса ~3000 пользователей из SAP на Юниксе с Ораклом на МФ с DB2 и CICS. Причем несмотря на то что МФ в пиковые часы 100% busy умощнение его не заложено в проект, только на крайний случай может быть добавят MIPS-в. А это маленький МФ с всего 5 CPU.

Ну, значит у Вас маленький SAP, МФ хватит Ну и я не столько о базисном SAP, сколько о SAP HANA

Маленький или не маленький, но 3000 новых пользователей - все неатомные електростанции добавляются к приложению для атомных станций. До этого SAP крутился на некоторой инфраструктуре, а теперь ее не надо будет. И проект этот во много раз дороже расходов на наш МФ.

А SAP HANA там был?

Я почитал про SAP HANA. То что память быстрее дисков известно было всегда. То что данные БД можно расмещать в памяти это тоже не бином Ньютона и это делалось и делается всегда. То что сервера на Интел способны что-либо серьезное делать только будучи обьединенными в кластера тоже не секрет уже давно. И то что нормальнальная работа кластера требует танцев с бубнами известно (отсюда появляются General Parallel File System, причем каждый вендор изобретает свой аналог файловой системы способной поддерживать разделение многими серверами). Остальное это перепев стандартных задач и фукций RDBMS. Интересно до каких пор люди будут удивляться и умиляться новым упаковкам и названиям?

[flip_flop]

Я почитал про SAP HANA. То что память быстрее дисков известно было всегда. То что данные БД можно расмещать в памяти это тоже не бином Ньютона и это делалось и делается всегда. То что сервера на Интел способны что-либо серьезное делать только будучи обьединенными в кластера тоже не секрет уже давно. И то что нормальнальная работа кластера требует танцев с бубнами известно (отсюда появляются General Parallel File System, причем каждый вендор изобретает свой аналог файловой системы способной поддерживать разделение многими серверами). Остальное это перепев стандартных задач и фукций RDBMS. Интересно до каких пор люди будут удивляться и умиляться новым упаковкам и названиям?

zVlad, Вы не правы. Упомянутый сервер не кластер. Periode. Точка. В который раз вы не понимаете текст?

P.S. Именно по причине не обсуждать кластеры (хотя они имеют свои преимущества) я в последнее время толкую о не-кластерах, их есть на х86. И от Fujitsu, и от Toshiba, и от SGI. И они способны делать серьёзные вещи. А Вы продолжаете упорствовать в своих заблуждениях.

[zVlad]

Я почитал про SAP HANA. То что память быстрее дисков известно было всегда. То что данные БД можно расмещать в памяти это тоже не бином Ньютона и это делалось и делается всегда. То что сервера на Интел способны что-либо серьезное делать только будучи обьединенными в кластера тоже не секрет уже давно. И то что нормальнальная работа кластера требует танцев с бубнами известно (отсюда появляются General Parallel File System, причем каждый вендор изобретает свой аналог файловой системы способной поддерживать разделение многими серверами). Остальное это перепев стандартных задач и фукций RDBMS. Интересно до каких пор люди будут удивляться и умиляться новым упаковкам и названиям?

zVlad, Вы не правы. Упомянутый сервер не кластер. Periode. Точка. В который раз вы не понимаете текст?

HANA это не сервер.
Вот книжка про HANA:

http://www.redbooks.ibm.com/redpapers/pdfs/redp4814.pdf
и вот что в ней пишется:

Even though servers available today can hold terabytes of data in memory and provide up to
eight processors per server with up to 10 cores per processor, the amount of data to be
stored in an in-memory database or the computing power needed to process such quantities
of data might exceed the capacity of a single server. To accommodate the memory and
computing power requirements that go beyond the limits of a single server, data can be
divided into subsets and placed across a cluster of servers, forming a distributed database
(scale-out approach).

[flip_flop]

Я почитал про SAP HANA. То что память быстрее дисков известно было всегда. То что данные БД можно расмещать в памяти это тоже не бином Ньютона и это делалось и делается всегда. То что сервера на Интел способны что-либо серьезное делать только будучи обьединенными в кластера тоже не секрет уже давно. И то что нормальнальная работа кластера требует танцев с бубнами известно (отсюда появляются General Parallel File System, причем каждый вендор изобретает свой аналог файловой системы способной поддерживать разделение многими серверами). Остальное это перепев стандартных задач и фукций RDBMS. Интересно до каких пор люди будут удивляться и умиляться новым упаковкам и названиям?

zVlad, Вы не правы. Упомянутый сервер не кластер. Periode. Точка. В который раз вы не понимаете текст?

HANA это не сервер.

Я там не про HANA а про цитированный Вами неверный тезис о "только в кластера"

Вот книжка про HANA:

http://www.redbooks.ibm.com/redpapers/pdfs/redp4814.pdf
и вот что в ней пишется:

Even though servers available today can hold terabytes of data in memory and provide up to
eight processors per server with up to 10 cores per processor, the amount of data to be
stored in an in-memory database or the computing power needed to process such quantities
of data might exceed the capacity of a single server. To accommodate the memory and
computing power requirements that go beyond the limits of a single server, data can be
divided into subsets and placed across a cluster of servers, forming a distributed database
(scale-out approach).

И что из этого следует? До границы 24 ТБ годится один сервер. 24 ТБ - это мало, несерьёзно? Есть ещё другие, с 64 ТБ, но для SAP HANA сделали с фокусом на IO speed vs IO capacity.

P.S. Книга устарела. Упомянутый сервер (не HANA, а железо ) имеет до 32-х сокетов и каждый процессор имеет 15 коров.

[flip_flop]

То что данные БД можно расмещать в памяти это тоже не бином Ньютона и это делалось и делается всегда.

Когда-то Вы отрицали это. Но я рад, что Ваше мнение сейчас пришло в соответствие с реальностью.

Остальное это перепев стандартных задач и фукций RDBMS. Интересно до каких пор люди будут удивляться и умиляться новым упаковкам и названиям?

Вы сводите новые сущности к старым и Вам понятным и отрицаете новые. Например, Big Data - это совсем не большие RDBMS, но Вы отказываетесь это признать. Ну да, баззворд, но так всегда бывает – что то новое, затем баззворд, затем некоторое разочарование, затем стабилизация. То, что я видел от японцев, мне понравилось, оно спасало жизни людей, за это можно простить упоминание этого баззворда всуе.

Кстати, опять о коммунизме: " ... бесклассовый общественный строй с единой общенародной собственностью на средства производства, полным социальным равенством всех членов общества, где вместе с всесторонним развитием людей вырастут и производственные силы на основе постоянно развивающейся науки и техники ...". A Вы это развитие не хотите признать

[Dmitry67]

О а можно я тоже модное слово вставлю - cloud. Так вот что же делать cloud провайдерам со сториджем? Что лучше локальный das (это то что Автор топика так пропагандирует) или SAN/NAS?

а virtual San от vmware никто не юзал?

[flip_flop]

О а можно я тоже модное слово вставлю - cloud. Так вот что же делать cloud провайдерам со сториджем? Что лучше локальный das (это то что Автор топика так пропагандирует) или SAN/NAS?

а virtual San от vmware никто не юзал?

Я не юзал, но вот нарыл, свежее о VMware VNAS, опять же таки в пользу NVMe - http://www.intel.com/content/dam/www/pu ... -brief.pdf

All flash!

[flip_flop]

Кстати, Dmitry67, получается что одна из предпочтительных опций - DAS + VSAN (over 10gE or Infiniband or OmniPath) + remote backup (чтобы обезопасить от уборщиц с ведрами, ударов молний и т.д. и пр.) ? Это я по дилетантски спекулирую об этих ваших ЦОБах.

Небольшой оффтопик (имитируя Сабину ) - в новом году ожидается развитие контейнеров типа докеров вместо ВМ. Эффективнее ибо накладных расходов меньше. Мнения?

[Dmitry67]

Что за докеры? Почему не знаю?

[Solnishko2010]

Что за докеры? Почему не знаю?

Docker containers - реально удобная вещь. Вот здесь более-менее популярно:
http://cloudacademy.com/blog/4-reasons- ... orld-wide/

[Dmitry67]

так для винды это не годится

[flip_flop]

https://gigaom.com/2014/11/18/microsoft ... s-clients/ :
"Microsoft said today that users can now run Docker inside a Windows machine and manage Linux-based containers with the new Docker Command Line Interface for Windows. The news follows up on Microsoft and Docker’s recent partnership to ensure that Docker can run nicely on the Azure cloud and Windows Server."

[Dmitry67]

Ну без аналога vMotion это совершенное не то

[flip_flop]

Ну дык это и не ВМ, что, как бы, намекает. Но, там где нужно большое и эффективное масштабирование - то, что доктор прописал. Я, собственно, узнал о контейнерах, когда рассматривал изоляцию и распределение ресурсов. Ну и да, только на Линуксе, в пределах одного сервера, и для вычислительных задач, не БД. Как там в ваших епархиях - не знаю. Нужна Сабина

[Dmitry67]

Я бы еще хотел бы посмотреть на виндовый апгрейд со всеми этими контейнерами. Особенно в кластере

[zVlad]

Дима, не заморачивайтесь. Это все словеса, понты. А то, что Microsoft повелся так это теперь игра у них такая - как только некоторое количество собирается вокруг чего-нибудь то все начинают тоже вестись. Стадный рефлекс. Это и ИБМ не миновало в некоторых случаях. Cloud например да и другие там слова, big data, опять же. Но показателем является то, что многие эти базвордс не проникают на МФ. Это важный показатель.

[flip_flop]

А как же быть в случаях, когда ИБМ пропагандирует те же контейнеры? Вот здесь, например: http://cs.nyu.edu/courses/fall14/CSCI-G ... ainers.pdf

А ну да, не на МФ. Ну и славненько, пусть МФ остаётся системой для выполнения вечного Кобола и вечно и присно и во веки веков. Аминь. Славься МФ и жрецы его. Аминь. А всякие там новые технологии - всё от лукавого, изыди сатана

[zVlad]

А как же быть в случаях, когда ИБМ пропагандирует те же контейнеры? Вот здесь, например: http://cs.nyu.edu/courses/fall14/CSCI-G ... ainers.pdf

А ну да, не на МФ. Ну и славненько, пусть МФ остаётся системой для выполнения вечного Кобола и вечно и присно и во веки веков. Аминь. Славься МФ и жрецы его. Аминь. А всякие там новые технологии - всё от лукавого, изыди сатана

Вы часто призывали меня серьезнее относиться к некоторым вещам лично Вам приятным. Почему бы и Вам не следовать своим же рекомендациям?

Ну а по делу, на МФ давным давно работает Java, да, со всеми своими конвейерами и бинсами и прочми штучками придуманными для борьбы с недостатками тех платформ где Java зародилась изначально.

Тут вчера сосед по кубиклу (сетевик, в смысле по сетям специалист) воскликнул типа "у нас столько много новых технологий, они такие сложные, в них так друдно разобраться". Это он к тому что я пожаловался на то что мой компьютер работает медленно каждый день между 1 pm и 2 pm. Не медленно, а просто мертвым становится.

Я ему сходу, экспромтом (наболело), ответил что технологий то у вас много, но они все так или иначе плохи. Ии поэтому именно их так много и так часто появляется потому что все время надо что устранять в предыдущей технологии, которая была не полноценно (not sophisticated) сделана.

Вот и docker-ы из той же оперы, я уверен. Нет, верю что это "удобно", но это "удобно" потому что виртуальные машины сделаны не полноценно были сделаны, или еще что-нибудь в этом роде.

А на МФ либо чего-то нет либо есть и сделанно полноценно. Таких примеров много. Последний был обнаружен вчера, когда выяснелось что (цитирую из руководствa одного приложения (супер современного):

..The FA Expired Password page is valid for use only in z/OS configurations.

А по русски выяснелось вчера что когда пароль ехпиред то страница приложения для изменения пароля не работает. Это WebSphere, которую я два с лишним года убеждал установить на z/OS и которая была таки установленна на AIX и 2 января на это приложение придет 2323 новых юзеров. Дело конечно не в WebSphere и не в z/OS, а в мозгах тех кто думает также как Вы flip_flop (читайте Вашу же тираду в начале моего текста).

[flip_flop]

zVlad, я очень серррьёзно отношусь к МФ и фирме ИБМ. Которые, в свою очередь серьёзно относятся к новым технологиям (HW & SW). Иначе бы вымерли. Моё требование серьёзности относилось не ко мне и не к приятным мне вещам, а к фактам реальности, типа признания серьёзным того, что доминирует на рынке серверов, с примерно 80-ю процентами. Гегемон требует серьёзности (на всякий случай, для Вас, мой серьёзный друг - смайлики говорят об отступлении от серьёзности). Мой сарказм относился к Вашему подходу - "верю, не верю" (не разобравшись), "понты", всё на МФ - отлично, не на МФ - концептуально ущербно, всё новое - баззворды. К Вашему сведению и МФ и ИБМ признают и внедряют и клауды и биг даты, и линуксовые контейнеры (не уверен как на МФ). Понтами их не считают в отличие от.

Ну ладно, что-то слишком серьёзно. Всех с Новым Годом, годом контейенеров, клаудов и биг дата!

[Dmitry67]

Кстати http://top.rbc.ru/business/31/12/2014/5 ... al_traffic]--[m.rbc.ru_tablet]-[main_body]-[item_10]

[flip_flop]

http://247wallst.com/special-report/201 ... mpanies/2/

America’s Worst Run Companies:

#1 - IBM

"IBM, which continues to be a market leader in IT consulting and hardware, has struggled to respond to the shift to cloud computing, as businesses moved from maintaining servers and mainframes to using cloud storage and software. While IBM continues to rely heavily on its legacy businesses, competitors, including Amazon and Rackspace, are well ahead in providing cloud infrastructure services."

Вот так вот, клауд - баззворд, а потом - хоп и вытащат на белый свет.

[zVlad]

http://247wallst.com/special-report/201 ... mpanies/2/

America’s Worst Run Companies:

#1 - IBM

"IBM, which continues to be a market leader in IT consulting and hardware, has struggled to respond to the shift to cloud computing, as businesses moved from maintaining servers and mainframes to using cloud storage and software. While IBM continues to rely heavily on its legacy businesses, competitors, including Amazon and Rackspace, are well ahead in providing cloud infrastructure services."

Вот так вот, клауд - баззворд, а потом - хоп и вытащат на белый свет.

Это такой булшит что и сказать то даже нечего. Удивляет лишь что Вы, на этом форуме, придаете значение нетехнологическим заметкам в прессе.

Облако на МФ существует с тех пор как существует ВМ на МФ. Единственное что было добавленно это более насыщенные интерфейсы длыс provisioning-a. Nо мне и в 80-е не состовляло особого труда сдеалть готовыми столько виртуальных машин сколько нужно, Причем быстро.

[zVlad]

А как же быть в случаях, когда ИБМ пропагандирует те же контейнеры? Вот здесь, например: http://cs.nyu.edu/courses/fall14/CSCI-G ... ainers.pdf

А ну да, не на МФ. Ну и славненько, пусть МФ остаётся системой для выполнения вечного Кобола и вечно и присно и во веки веков. Аминь. Славься МФ и жрецы его. Аминь. А всякие там новые технологии - всё от лукавого, изыди сатана

Я прочитал "Abstract". То что называется "container" есть не что иное как started address spaces (кстати в документе есть еще синоним "namespaces") в MVS, и это есть уже лет сорок. Сейчас это появляется на Linux - privet izobretatelyam kolesa.
Дебаты о производительности под VM на MF прошли в 80-е годы и ушли в прошлое. Пользователи выбирают сами как им лучше - строить ли свои IT на zOS (MVS) (в "containers", или если хотите в "Dockers") или на zVM. Последнее получило распростронение длы Linux farms. Но в любом случае любой МФ предоставляет и реально имеет по крайней мере один уровень виртуализации - LPAR. Она еще называется физической. И этот уровень работает лучше чем любая физическая виртуализация на любой другой платформе. И это я точно знаю.

В мире ИТ лет 15-ть, а может и дольше, имеет место самоизоляция в своей среде. Даже девелоперы таких фирм как Microsoft, Oracle и т.п. не интересуются тем что есть и происходит не в их микромирах. Об "open source community" вообще следует сказать что даже если бы и знали о чем то уже имеющем место быть то они найдут новое слово и назовут тоже самое иначе чтобы поразить воображение публики. И им это удается. В начале века IT производители были более благородны и корректно позиционировали свои идеи и находки среди уже имеющихся у других. Начало обману положил Oracle заявив что это они первыми создали RDBMS.

[flip_flop]

Я прочитал "Abstract". То что называется "container" есть не что иное как started address spaces (кстати в документе есть еще синоним "namespaces") в MVS, и это есть уже лет сорок. Сейчас это появляется на Linux - privet izobretatelyam kolesa.
Дебаты о производительности под VM на MF прошли в 80-е годы и ушли в прошлое. Пользователи выбирают сами как им лучше - строить ли свои IT на zOS (MVS) (в "containers", или если хотите в "Dockers") или на zVM. Последнее получило распростронение длы Linux farms. Но в любом случае любой МФ предоставляет и реально имеет по крайней мере один уровень виртуализации - LPAR. Она еще называется физической. И этот уровень работает лучше чем любая физическая виртуализация на любой другой платформе. И это я точно знаю.

Ну, вот, уже не "понты", а старая, нужная вещь, позволяющая пользователям выбирать самим как им лучше На Линуксах уже тоже лет десять как (с 2001 года, точнее). И некоторые линукс контейнеры позволяют делать "live migration" (не Docker, впрочем). Нынешний интерес к Docker связан не с базисными функциями контейнеров, а с инфраструктурой и автоматизацией разработки приложений внутри контейнеров и удобной (UX) поддержкой работы с контейнерами. Отсюда и баззззворды

В мире ИТ лет 15-ть, а может и дольше, имеет место самоизоляция в своей среде. Даже девелоперы таких фирм как Microsoft, Oracle и т.п. не интересуются тем что есть и происходит не в их микромирах. Об "open source community" вообще следует сказать что даже если бы и знали о чем то уже имеющем место быть то они найдут новое слово и назовут тоже самое иначе чтобы поразить воображение публики. И им это удается. В начале века IT производители были более благородны и корректно позиционировали свои идеи и находки среди уже имеющихся у других. Начало обману положил Oracle заявив что это они первыми создали RDBMS.

Да, тут я, в целом, согласен (кроме несправедливости к "open source"). Но не всегда так. Например, для high end х86 servers features Hitachi/Fujitsu явно указывают близость к МФ, благо опыт в МФ имеется.

Офтопик. Ларри, этот ваш, Эллиот и Джен Хсун, этот наш, Хуанг - вообще занятные, весьма эксцентричные, директора с артистичными натурами. Временами они не брезгуют оглушительными заявлениями, типа "мы изобрели велосипед"

[zVlad]

. Нынешний интерес к Docker связан не с базисными функциями контейнеров, а с инфраструктурой и автоматизацией разработки приложений внутри контейнеров и удобной (UX) поддержкой работы с контейнерами. Отсюда и баззззворды

Не думаю что с базисными функциями уже все сделано. Одно лишь решение проблемы изоляции в рамках одного системного имиджа это еще только начало. Могу предположить что хорошего work load management тоже нет еще. Да и с изоляцией тоже не всё так здорово как декларируется. Своя рут это значит что каждый контейнер имеет свою копию всего. Я не прав?
А что под удобной поддержкой работы с контейнерами предполагается по Вашему?