Акела промахнулся! В смысле, Интел обосрался

[zVlad]

...
Ну я и говорю, дикие цены. Ставим дешевую стойку от ...

Я этими вопросами не занимаюсь, цен не знаю и сказать ничего не могу. Глядя на наши стойки дисков от ЕМС я одно лишь могу сказать что они не десятки тысяч, а сотни тысяч и миллионы стоят.

[zVlad]

У Вас есть перед глазами приложение на х86 с 2400 ядрами?

Вот честно не хочется мериться у кого больше
Потому коротко: Да. 2400 это совсем небольшая величина. Производительность примерно одной стойки. Один ДЦ много стоек. ДЦ тоже много.

Есть два метода решения любой проблемы/задачи.
Силовой, это когда если задача не решается имеющимися ресурсами то ресурсы добавляются не глядя на эффективность их использования.
Интеллектуальный, это когда делается попытка повысить эффективность использования ресурсов чтобы решить задачу на том же или мепьшем их размере.
Оба метода работают. Какой из них лучше можно спорить до хрипоты.
Это очень приблизительно выражает наши споры и подходы. На самом деле все гораздо сложнее, но хвастаться количеством элементов могущих иметь малое отношение к собственно цели ради которой это количество создается выглядит наивно. В конце концов так можно всю планету заставить этими ДЦ и жить будет негде. Тогда зачем?

Это так в общем. Более технично можно возразить следущим образом. Вы на станете спорить что имея малое количество исполнительных механизмов (CPU если хотите) издержки на собственно управление ими, т.е. распределение работы между ними, будет малым. А если таких механизмов много, то и издержки будет только выше. В нашем случае для распределения работы мы используем те же самые CPU. Таким образом из 2400 коров может оказаться что 240 будут заняты только решением задачи о том на какой кор сдиспетчировать готовую задачу. У каждого кора, если все они под одной системой и система эта с разделением времени будет свой таймер, считающий квант времени и прерывающий процесс, только затем чтобы посмотреть а нет ли другой готовой задачи для выполнения. А когда прерванная задача будет сдиспетчированая не на тот проц где она выполнялась, то данные уже загруженные в тот проц надо будет снова грузить в другой, освободившийся проц. И так далее и тому подобное.
Создание системы из множества независимых узлов и решение задачи на этих узлах разбивая ее на куски тоже мало спасает, постольку хотя бы поскольку что эти куски надо будет собрать, упорядочить и выдать.
Только один вариант не вызывает сомнения в таком силовом подходе, это когда делается нечто вроде колективизации в сталинской России, где собирали всех личных коров в одно место и ходили их доить и кормить на ферму. Конечно под это можно что-то такое сделать на ферме для коров или их хозяев чего в каждом отдельном хлеве, силами единоличника создать дорого или накладно. В нашем случае это мощныйю широкополосный выход в интернет, более эффективные системы охлаждения, бесперебойное энергообеспечение и ремонты вышедшего из строя оборудования.

Вот и все. Строить набоскреб у себя во дворе накладно и небезопасно.
И дело тут вовсе не в дешевизне элементов систем. В итоге, согласно фундаментальным законам природы, для выполнения той или иной работы нужны определенные ресурсы. Плюс-минус, в зависимости от бойкости исполнителя.

[zVlad]

Перед возвращением дисков мы их инициализируем так что прочитать с них ничего не получится. Есть у нас такие средства.

Нда. У нас такое даже наш слабенький аудит не прошло бы... Инициализировать (даже форматировать) вообще то недостаточно.

Например? Как можно прочитать что было записано на дорожке диска если вся она размагничена. Как можно прослушать песню с магнитной ленты если на нее записали другую песню или просто шум?
Я знаю один способ: подвигать магнитными головками туда-сюда. У нас используется мнгократная, очень много, запись специальных кодов. Специалисты по дискам считают этот способ надежным. Хотя, учитывая что зачастую при жизни дисков доступ к ним не на сто процентов закрыт, то удаление информации уже снятой с носителей путем физического уничтожения носителей выглядит наивным.

Есть еще вариант когда на дисках хранится криптографированная инфа. Нужно ли упираться форматировать такие диски или их физически уничтожать? Не параноя ли это?

[Мальчик-Одуванчик]

удаление информации уже снятой с носителей путем физического уничтожения носителей выглядит наивным.

А это как раз, никого не волнует в корпоративном мире - будут они уничтожены или нет.
Здесь главная цель - избавиться от ответственности и прикрыть свою задницу на этот случай.
Именно поэтому уничтожением носителей занимаются якобы специализированные и сертифицированные самостоятельные бизнесы.

[mskmel]

Я больше не каркаю!!!! Оказывается не все МФ у нас перестреляли.

zVlad, срочно хелп!

Попросили у товарищей выгрузку некоторых данных в текстовый файл, еще не зная что на той стороне МФ.
Умный разработчик сказал - сделал:
- Выгрузил, копирую!
30 минут
- Мужик, а ты надеюсь его gzip?
- У нас тут MF и нет gzip!
- ????
30 минут позже
- во! Скачалось ко мне на PC. Пакую...
10 минут позже
- круто, всего 3ГБ вышло
Доставил его мне, а там МФ формат! Какой идиот это придумал?!

Как ЭТО сконвертировать в человеческий формат под Linux\Solaris\HPUX\Windows? Я попросил ребят в нормальный формат, они делают, но они эту выгрузку много часов ждали.
последнее поле

Code: Select all

ХХХ POSITION( 135 ) TIMESTAMP EXTERNAL( 26) NULLIF( 161)='?

Правда что у zos нет gzip?

[zVlad]

Я больше не каркаю!!!! Оказывается не все МФ у нас перестреляли.

zVlad, срочно хелп!

Попросили у товарищей выгрузку некоторых данных в текстовый файл, еще не зная что на той стороне МФ.
Умный разработчик сказал - сделал:
- Выгрузил, копирую!
30 минут
- Мужик, а ты надеюсь его gzip?
- У нас тут MF и нет gzip!
- ????
30 минут позже
- во! Скачалось ко мне на PC. Пакую...
10 минут позже
- круто, всего 3ГБ вышло
Доставил его мне, а там МФ формат! Какой идиот это придумал?!

Как ЭТО сконвертировать в человеческий формат под Linux\Solaris\HPUX\Windows? Я попросил ребят в нормальный формат, они делают, но они эту выгрузку много часов ждали.
последнее поле

Code: Select all

ХХХ POSITION( 135 ) TIMESTAMP EXTERNAL( 26) NULLIF( 161)='?

Правда что у zos нет gzip?

Есть команда tar и опция -z для компрессии.

P.S. В zOS есть свои сжималки ими мы обычно и пользуемся для обмена в формате наборов данных.

Что значит "а там МФ формат"?

Вашему мф-щику наверно не доводилось плотно работать в USS. Мне доводилось и таких проблем я не знаю, все межплатформенное решается нормально. Ваши эмоции ("какой идиот это придумал") здесь совершенно не уместны.

[zVlad]

[....
последнее поле

Code: Select all

ХХХ POSITION( 135 ) TIMESTAMP EXTERNAL( 26) NULLIF( 161)='?

...

Это похоже на фрагмент DB2 утилиты LOAD.

[Flash-04]

Таким образом из 2400 коров может оказаться что 240 будут заняты только решением задачи о том на какой кор сдиспетчировать готовую задачу. У каждого кора, если все они под одной системой и система эта с разделением времени будет свой таймер, считающий квант времени и прерывающий процесс, только затем чтобы посмотреть а нет ли другой готовой задачи для выполнения. А когда прерванная задача будет сдиспетчированая не на тот проц где она выполнялась, то данные уже загруженные в тот проц надо будет снова грузить в другой, освободившийся проц. И так далее и тому подобное.

Влад, вы же наверное знаете про FPGA? Делаются под конкретную задачу, больше ничего такая система делать не умеет, но за то таааак эффективно что не какой MF за ним не угонится ни по скорости, ни по эффективности.

[StrangerR]

ну так сдуру можно сами знаете что сломать... Те же алерты - правило _лучше не получить алерт чем его получить_ никто не отменял. Мне не приходят почему-то ложные алерты, а систем и серверов до хрена. Потому что алерт это АЛЕРТ а высокая загрузка CPU - ну если она такая часов 20 то ворнинг можно и прислать, а так это даже не событие, и это никогда не алерт в принципе...

А что с ассетами? Виртуалки и все, виртуальное железо от физического не зависит...

[StrangerR]

Перед возвращением дисков мы их инициализируем так что прочитать с них ничего не получится. Есть у нас такие средства.

Нда. У нас такое даже наш слабенький аудит не прошло бы... Инициализировать (даже форматировать) вообще то недостаточно.

Например? Как можно прочитать что было записано на дорожке диска если вся она размагничена. Как можно прослушать песню с магнитной ленты если на нее записали другую песню или просто шум?
Я знаю один способ: подвигать магнитными головками туда-сюда. У нас используется мнгократная, очень много, запись специальных кодов. Специалисты по дискам считают этот способ надежным. Хотя, учитывая что зачастую при жизни дисков доступ к ним не на сто процентов закрыт, то удаление информации уже снятой с носителей путем физического уничтожения носителей выглядит наивным.

Ну, запись такая есть и считается ОК, но по жизни проще уничтожать, так как например если диск FAILED то фиг вы его перезапишете но вот считать с него _враг не дремлет_ вполне себе сможет... Только что убил идею очередного писателя что _перед уничтожением диски перезаписываются_ задав простой вопрос _вот есть SAN xx, мы его снимаем, там диски несовместимы с твоей виндой и их там сотня, кто и как будет их блин инициализировать??_ и записали в документ слово ИЛИ.

[zVlad]

Таким образом из 2400 коров может оказаться что 240 будут заняты только решением задачи о том на какой кор сдиспетчировать готовую задачу. У каждого кора, если все они под одной системой и система эта с разделением времени будет свой таймер, считающий квант времени и прерывающий процесс, только затем чтобы посмотреть а нет ли другой готовой задачи для выполнения. А когда прерванная задача будет сдиспетчированая не на тот проц где она выполнялась, то данные уже загруженные в тот проц надо будет снова грузить в другой, освободившийся проц. И так далее и тому подобное.

Влад, вы же наверное знаете про FPGA? Делаются под конкретную задачу, больше ничего такая система делать не умеет, но за то таааак эффективно что не какой MF за ним не угонится ни по скорости, ни по эффективности.

Нет я не знаю про FPGA. Но Вы не можете не знать от меня что МФ, хоть и обладает самым производительным процессором в мире, но по скорости ни за чем не гоняется. Это сфера суперкомпьютеров, а МФ относится к универсальным, общего применения, серверам обработки информации. Базы данных, транзакции, пакетные задания и т.п..
Что Вы хотели обозначить словом "эффективность" я не знаю поэтому не комментирую.

[flip_flop]

Таким образом из 2400 коров может оказаться что 240 будут заняты только решением задачи о том на какой кор сдиспетчировать готовую задачу. У каждого кора, если все они под одной системой и система эта с разделением времени будет свой таймер, считающий квант времени и прерывающий процесс, только затем чтобы посмотреть а нет ли другой готовой задачи для выполнения. А когда прерванная задача будет сдиспетчированая не на тот проц где она выполнялась, то данные уже загруженные в тот проц надо будет снова грузить в другой, освободившийся проц. И так далее и тому подобное.

Влад, вы же наверное знаете про FPGA? Делаются под конкретную задачу, больше ничего такая система делать не умеет, но за то таааак эффективно что не какой MF за ним не угонится ни по скорости, ни по эффективности.

Категорически не согласен. FPGA. Буква P (programmable) - является ключевым. А вот специализированная ASIC (не общего назначения, а именно под конретную задачу, с минимумом программирования, микрокод там кое где, регистры там - и баста) будет быстрее всего. Да и FPGA - классная штука, если раньше программировать надо было в HDL, то теперь появились тулсы на C и даже на Питоне.

Впрочем, мы отвлеклись от темы, МФ почти не виден.

P.S. zVlad - FPGA - разновидность ПЛИС (Программируемые Логические Интегральные Схемы) - электронщики и иже с ними должны были изучать их с весьма лохматых времён, в мои студенческие времена (конец 70-х, начало 80х) мы их проходили.

[zVlad]

ну так сдуру можно сами знаете что сломать... Те же алерты - правило _лучше не получить алерт чем его получить_ никто не отменял. Мне не приходят почему-то ложные алерты, а систем и серверов до хрена. Потому что алерт это АЛЕРТ а высокая загрузка CPU - ну если она такая часов 20 то ворнинг можно и прислать, а так это даже не событие, и это никогда не алерт в принципе...

А что с ассетами? Виртуалки и все, виртуальное железо от физического не зависит...

По алертам они взяли, если не ошибаюсь, что-то готовое от Микрософт. С дефолтами предустановленнымт и т.п.. Сейчас вроде поднастроили.
На МФ я стараюсь (-лся) делать так чтобы проблема решалась автоматически. Не все но так решено.
Виртуальное железо это всегда, кроме эмулируемого и симулируемого железа, в конечном счете становится реальным железом. Ну а вообще у них там много организационных проблем. Есть запросы и такие что виртуалки не принимаются и мне понятно почему. Тогда надо заводить реальный сервер. Много несовместимостей с новым железом, с новыми версиями Windows - у них до сих пор есть сервера под Win2000, и чуть ли не NT.
Вообще конечно это не моя область. Я просто хотел показать что там много ненужной суеты и суета та от, как не крути, плохой, дешевой, платформы серверов на х86. У нас многие те суетливые движения исключены в принципе. Никто например никогда не просит админ прав. Все нужные права даем мы - секьюрити админы RACF.
На новые мф, версии ОС и БД мы всегда переходили без проблем. Сейчас правда этот процесс намеряно заморожен и мы сильно отстали от текущих версий. Сам мф пока всего два поколения в зад: 12-ое при текущем 14-ом.

[zVlad]

.....

P.S. zVlad - FPGA - разновидность ПЛИС (Программируемые Логические Интегральные Схемы) - электронщики и иже с ними должны были изучать их с весьма лохматых времён, в мои студенческие времена (конец 70-х, начало 80х) мы их проходили.

Спасибо. Я закончил институт в 1979 году по специальности автоматика и телемеханика, но про микросхемы 580 серии читал тогда. Сам использовал только микросхемы с фиксированной логикой, регистр последовательного приближения и микросхемы память - 256 бит если не ошибаюсь. Восемь их у меня было для байта. Но кроме института и в армии немного я к микросхемам не прикасался больше.

[mskmel]

Что значит "а там МФ формат"?

Во всём мире принято выгрузку из БД в файл это csv, а не какая-то бинарная субстанция.

ЗЫЖ за tar -z спасибо, завтра буду пытаться умничать

[StrangerR]

У нас полностью запрещены запросы на РЕАЛЬНЫЙ сервер. За последние 3 года ни единого такого запроса не выполнили, все ушли в топку. Некоторые брыкались, но... все туда же...

Аргумент простой - во первых, докажите на фига это вам, во вторых, _гу пусть даже сегодня это будет быстрее процентов на 20. НО уже в следующем году облако то ускорится и мы просто мышкой сдвинем и все, а физическая машина так и останется говном мамонта_.

А так как все винды виртуальные, то нет никаких проблем _совместимости с железом_. Оно всегда виртуальное и одинаковое.

Виртуальное железо это всегда, кроме эмулируемого и симулируемого железа, в конечном счете становится реальным железом. Ну а вообще у них там много организационных проблем. Есть запросы и такие что виртуалки не принимаются и мне понятно почему. Тогда надо заводить реальный сервер. Много несовместимостей с новым железом, с новыми версиями Windows - у них до сих пор есть сервера под Win2000, и чуть ли не NT.

[zVlad]

Что значит "а там МФ формат"?

Во всём мире принято выгрузку из БД в файл это csv, а не какая-то бинарная субстанция.
......

То что известно Вам это еще не весь мир.
А .csv это слишком нестабильный формат, зависящий от данных, чтобы на него можно было полагаться в тех областях в которых исплользуют DB2 . Я с ним работал и долго получал из Excel разные неожиданности.
Тот формат что Вы видите не единственный с которым работает DB2, но .csv в них нет и лично мне очень даже понятно почему.
Как, например, в .csv Вы передадите пустое значение, NULL?
Зачем у вас вообще тянут таким образом данные из DB2? Почему не запросами? Через ODBC, или JDBC, я уже промолчу про SQLJ.

P.S. данные в формате .csv можно выгрузить из DB2 показав утилите UNLOAD вот примерно такой простой стейтмент (функции преобразования в текст есть любые) :
SELECT "'"COL1"','"||COL2"','"||.... FROM ....

Подскажите Вашим DB2-шникам, что они интересно скажут.

Р.P.S. А то что Вам дали и Вы назвали МФ формат, это формат вывода утилиты UNLOAD для использования в другой утилите - LOAD. Там могут быть данные во внутреннем формате. Но ввод для LOAD может быть сформирован и польностью в текстовом виде. В нормальном мире возможно все, надо только знать и думать, вместо того чтобы показывать свою слабость через никому не нужные эмоции и ссылки на несуществующие миры.

[zVlad]

...
ЗЫЖ за tar -z спасибо, завтра буду пытаться умничать

zOS это две интегрированные системы: MVS и Unix. Каждая со своим полным набором средств работы. Команда tar юниксовская, и любые другие команды юникс так или иначе в zOS имеются.

[Flash-04]

Нет я не знаю про FPGA. Но Вы не можете не знать от меня что МФ, хоть и обладает самым производительным процессором в мире, но по скорости ни за чем не гоняется. Это сфера суперкомпьютеров, а МФ относится к универсальным, общего применения, серверам обработки информации. Базы данных, транзакции, пакетные задания и т.п..
Что Вы хотели обозначить словом "эффективность" я не знаю поэтому не комментирую.

Влад, вот вы вроде большой, а в сказки верите ну нет у IBM каких-то супер-убер технологий которых нет и у кого. Их же процессоры в своё время не выдержали конкуренции с "ширпотребом" от Intel в секторе серверов и PC, а ведь боролись. Поэтому когда вы говорите что вот "не посоветовались со специалистами IBM, не сделали оптимизацию", это и говорит о том что выиграть IBM-вский процессор может только на коде который "вылизан" под него. Но позвольте, а стоимость такого "вылизывания"??? Вот и выходит в итоге что золотые решения от IBM. И когда вы говорите вот, почему то клиент так и держит систему на MF, это просто говорит о том что стоимость "переезда" большая, и потом ещё баги вылавливать, проще сидеть на том же самом по принципу "работает - не ломай".

[Flash-04]

Категорически не согласен. FPGA. Буква P (programmable) - является ключевым. А вот специализированная ASIC (не общего назначения, а именно под конретную задачу, с минимумом программирования, микрокод там кое где, регистры там - и баста) будет быстрее всего. Да и FPGA - классная штука, если раньше программировать надо было в HDL, то теперь появились тулсы на C и даже на Питоне.

ASIC да, очень быстрый. Не стал даже упоминать.

[zVlad]

Нет я не знаю про FPGA. Но Вы не можете не знать от меня что МФ, хоть и обладает самым производительным процессором в мире, но по скорости ни за чем не гоняется. Это сфера суперкомпьютеров, а МФ относится к универсальным, общего применения, серверам обработки информации. Базы данных, транзакции, пакетные задания и т.п..
Что Вы хотели обозначить словом "эффективность" я не знаю поэтому не комментирую.

Влад, вот вы вроде большой, а в сказки верите ну нет у IBM каких-то супер-убер технологий которых нет и у кого. Их же процессоры в своё время не выдержали конкуренции с "ширпотребом" от Intel в секторе серверов и PC, а ведь боролись. Поэтому когда вы говорите что вот "не посоветовались со специалистами IBM, не сделали оптимизацию", это и говорит о том что выиграть IBM-вский процессор может только на коде который "вылизан" под него. Но позвольте, а стоимость такого "вылизывания"??? Вот и выходит в итоге что золотые решения от IBM. И когда вы говорите вот, почему то клиент так и держит систему на MF, это просто говорит о том что стоимость "переезда" большая, и потом ещё баги вылавливать, проще сидеть на том же самом по принципу "работает - не ломай".

Не согласен. Вы не правы, но скажу пока только одно, очевидное, IBM никогда не позиционировал процессор МФ в области PC, и не только процессор MФ, но и другие какими располагал. IBM вообще долгое время PC не занимался вообще. МФ существует и развивается, значит конкуренцию выдерживает. IBM ведь не благотворительная организация.
МФ в отличии от Intel изначально создавался как серверная платформа. Intel же пришел к этом по мере развития микроэлектроники, но с издержками изначальной ориентации на PC. До конца эти издержки так и не изжиты, это четко видно в истории с виртуализацией.
Ладно, хватит на сегодня. Спокойной ночи.

P.S. Про "в сказки верите" я оставляю на Вашей совести - не мне Вам это говорить. Ну да ладно.

[Flash-04]

Intel значит благотворительная организация?

[Flash-04]

так как Влад нас ссылками на материалы не балует, интересующимся док по z900:
http://www.redbooks.ibm.com/redbooks/pdfs/sg245975.pdf

[Мальчик-Одуванчик]

Intel же пришел к этом по мере развития микроэлектроники, но с издержками изначальной ориентации на PC.

Как бы не совсем, изначально они вообще делали в большей степени серверное оборудование, заточенное для производства.
Тот же советский клон СМ-1800 как раз и была такой машинкой, широко применявшейся как управляющий центр для станков с ЧПУ и другим промышленным оборудованием. Уже тогда она имела шину Multibus, спроектированную для многопроцессорного взаимодействия и использования устройств от разных производителей периферийного оборудования.

[zVlad]

так как Влад нас ссылками на материалы не балует, интересующимся док по z900:
http://www.redbooks.ibm.com/redbooks/pdfs/sg245975.pdf

z900 это начало 2000-х.