Миф: как IBM победил БЭСМ

[Dmitry67]

А как в мф решается проблема синхронизации кешей?

[АццкоМото]

...А давайте не переходить на личности? Или - беттер йет - не скакать с субжа на субж?
.... - то вон в "о жизни" жара идет, что людей создали какие-то тараканы с обратной стороны луны. ну, в смысле фантазия прет как раз там

Извините погорячился, но и Вы тоже от темы далеко отходите и неправильно понимаете тех с кем говорите, в данном случае меня. Поэтому я бы ожидал услышать дополнительные вопросы, а не финальные заключения. Мы же здесь не для того чтобы на тезис овечать антитезисом и удаляться в гордом одиночестве, мы, кмк, здесь чтoбы проверить свои мысли на чужом мнении, именно свои мысли, а не то что кому то невеяло вброшенными нами текстами. Поэтому не стесняйтесь - спрашивайте, не торопитесь отпихиваться от собеседника ссылаясь на индустрию - индустрия она больше чем Вам кажется на самом деле. Заранее извиняюсь что опять разгoрячился,

Я просто зацепился за тезис, который мне показался неверным, о чем и сказал
Если у вас есть аргументы в пользу того, что он верен - я с удовольствием послушаю и, возможно, поменяю свое мнение

просто я ожидаю от молодежи более глубого мышления.

А вот голубого мышления от меня не дождетесь. В мои молодежные 40 странно было бы начать косить под СЕО фруктовой компании

[АццкоМото]

Кстати, а возможно ли как-то снимать статистику с процессора на живой машине?
Например - статистику использования кешей?

Ммм... а какую именно статистику использования?

[tengiz]

Кстати, а возможно ли как-то снимать статистику с процессора на живой машине?
Например - статистику использования кешей?

На Интеле - уже давно возможно.

[zVlad]

У нас например в DB2 одна из самых потребных таблиц хранится в сжатом виде чтобы поместиться целиком в памяти. Страницы разжимаются на лету по мере обращения к ним. Крипто тоже плотно используется в том же DB2. Есть такие приложения где это критично.

А на сколько процентов у вас заняты подсистемы криптографии и сжатия?

Криптографии на Production у нас 0(ноль). Сжатие пытаюсь найти.

Вот как выглядит отчет по 30-минутному интервалу:

Code: Select all

                                           C R Y P T O  H A R D W A R E  A C T I V I T Y
                                                                                                                           PAGE    1
            z/OS V1R13               SYSTEM ID EAEA             DATE 11/03/2014            INTERVAL 30.00.003
                                     RPT VERSION V1R13 RMF      TIME 14.30.00              CYCLE 6.000 SECONDS
-------- ICSF SERVICES ----------------------------------------------------------------------------------------------------
        ---- ENCRYPTION -----    ---- DECRYPTION -----    ----- MAC ------    -------- HASH ---------    ------ PIN -------
         SDES    TDES     AES     SDES    TDES     AES    GENERATE  VERIFY    SHA-1  SHA-256  SHA-512    TRANSLATE   VERIFY
RATE     0.00    0.00    0.00     0.00    0.00    0.00        0.00    0.00     0.00     0.00     0.00         0.00     0.00
SIZE     0.00    0.00    0.00     0.00    0.00    0.00        0.00    0.00     0.00     0.00     0.00

[flip_flop]

Intel уперлся в тупик с ростом производительности путем повышения частоты
...

А IBM не упёрся в этот тупик?
В чём их подход радикально отличается?

Мы говорил только о chip-e CP (у IBM называется PU - Processor Unit), OK.
Их подход отличается тем что они не упираются в наращивание кОров. В текущем семействе - EC12 (2012) - кОров всего 6 на chip-e. Но у них больше cash size и у каждого кора есть свой unit for compression and encryption.

Как мы выяснили - наращивание кОров имеет ограничение: из-за ненинейного роста производительности их нельзя наращивать бесконечно.
А увеличение cash size и добавление unit for compression and encryption не имеет ограничений?

Это (ограничение наращивания коров) - миф. Джентельмены, которые делают суперкомпъютеры об этом не знают и наращивают число узлов из-за линейной масштабируемости ( http://www.drdobbs.com/parallel/exceedi ... 836?pgno=3 ) . Разумеется, для масштабируемых задач. Для масштабируемости коров на чипе - тоже неплохо ( http://nar.ucar.edu/2013/cisl/accelerat ... ithmically ). Мой скромный опыт показывает следующее - для простых реализаций (типа простейшего OpenMP) для чипа с 61 ядром и 244-мя потоками при увеличении числа потоков до примерно 122 - рост производительности был линеен (идеален), затем несколько замедлялся (но никогда не насыщался, а монотонно увеличивался) и при максимально числе потоков в 244 составлял примерно 2/3 от потенциального максимума. Да, не максимум, но и не половина. Да и Дмитрий67 приводил тесты. Но желающие их могут игнорировать, конечно, типа "зелен виноград", не та консерватория и так далее.

Масса интересных технологий в развитии, я не вижу повода для "плача Ярославны". Что не отменяет, конечно, неудачных реализаций "на местах".

[flip_flop]

Кстати, а возможно ли как-то снимать статистику с процессора на живой машине?
Например - статистику использования кешей?

Ммм... а какую именно статистику использования?

Ну, например, статистику использования кешей ("попаданий" и "промахов" в L2 и L3 cache):
https://software.intel.com/en-us/articl ... tilization
Иногда этой статистики достаточно чуть более чем полностью.

[АццкоМото]

Кстати, а возможно ли как-то снимать статистику с процессора на живой машине?
Например - статистику использования кешей?

Ммм... а какую именно статистику использования?

Ну, например, статистику использования кешей ("попаданий" и "промахов" в L2 и L3 cache):
https://software.intel.com/en-us/articl ... tilization
Иногда этой статистики достаточно чуть более чем полностью.

ок-ок, джясьть аськинь

[zVlad]

Я еще раз приноношу свои извинения за пропуск Xeon-ов и их параметров, но честно говоря тенденция от этого не меняется, остается немного больше 2 MB на кор. i7 на странице интел я просмотрел весь:

http://www.intel.com/content/www/us/en/ ... essor.html

больше 8 МB не вижу. Опять не туда посмотрел?

Извининя приняты. Проехали

Куда смотреть - вначале на общий список: http://ark.intel.com/#@Processors

Затем выбираем. Например: http://ark.intel.com/products/family/79 ... s#@Desktop и далее:
http://ark.intel.com/products/82930/Int ... o-3_50-GHz

Не забываем про Server Processors, на данный момент наиболее интересные эти:
http://ark.intel.com/products/family/78 ... ly#@Server
и эти:
http://ark.intel.com/products/family/78 ... ly#@Server
и эти:
http://ark.intel.com/products/family/71 ... rs#@Server

Просмотрел. Спасибо.
Чем больше кОров тем меньше cash. Это понятно.

Как Вы думаете чем вызванно большое разнообразие конфигураций продуктов (CPU) Intel? По количеству кОров, размерам cash-ей, наверняка еще чему нибудь. У меня есть обяснение, свое, но хотелось бы сначала выслушать специалиста по конкретному направлению.

[zVlad]

...Как мы выяснили - наращивание кОров имеет ограничение: из-за ненинейного роста производительности их нельзя наращивать бесконечно.
А увеличение cash size и добавление unit for compression and encryption не имеет ограничений?

Все имеет ограничение. Физические в первую очередь. Самоограничения тоже имеются, но в рыночной экономике самоограничение - это сдача позиций конкурентам называется.

Есть кристал кремния, на нем сегодня можно разместить ~ 10 000 000 000 транзисторов. Возникает вопрос чем эти транзисторы занять.

Решается этот вопрос по разному в зависимости от цели. Если цель быстро обсчитывать много независимых и простых по содержанию процессов (степень простоты тоже вопрос интересный), то делаем максимальное количество исполнительных юнитов (а чем они проще тем их можно уместить на кристале больше). И это называется GPU (Nvidia).

Если цель не четко определена то выпускается большая номенклатура самых разнообразных конфигураций, с самыми разнообразными количествами кОров и размерами cash-ей. Это путь выбранный Intel. Intel продает чип-ы в розницу. Готовые компьютеры делают и Intel и многие другие исходя из своего понимания какими они должны быть. Конечный пользователь голову ломает что же ему то надо на самом деле.

Если цель достичь наилучшего результата для смеси самых разнообразных и связанных нагрузок, то кроме кОров и cash-ей на кристал помещают и другие компоненты, при этом стараются воплотить эти компоненты самым наиполнейшим образом. Сейчас это compression and crypto, будут и другие. Это, как вы уже догадались, путь выбранный IBM на MF. При таком подходе chip-ы не продаются в розницу, а из них делаются готовые компьютеры позволяющие программно конфигуриваться в огромном диапазоне мощностей CPU, размеров памяти, дополнительных устройств - для той же криптографии там где on-board crypto недостаточно и другого. Все это под управлением ОС способных все это использовать даже если прикладные программы не способны это использовать и конечно с предоставлением возможности использования программами. При этом у конечного пользователя задача выбора гораздо проще - надо всего лишь определиться с выбором одной из двух моделей семейства BC, и пяти моделей семейства EC. А все остально можно уже подогнать на местe, в процессе использования, более того автоматически это будет подогнано (в случае zOS).

[flip_flop]

Просмотрел. Спасибо.
Чем больше кОров тем меньше cash. Это понятно.

Это не так. Строго говоря, чем больше коров, тем больше кеш. В пересчёте на кор, удельный кеш примерно одинаков, за исключением отдельной группы оптимизированных по частоте процессоров. Посмотрите статью по Xeon v2600 v3: http://www.microway.com/knowledge-cente ... rocessors/
Там есть во втором графике выбор L3 Cache и там данные как по суммарному кеш так и по удельному (на ядро). Все данные из спецификаций, но более иллюстративные, и, что самое главное - просто правильные. Влад, пожалуйста, будьте внимательны и делайте правильные выводы. Без умения понимать прочитанное никакой дискуссии не получится, уж извините.

Как Вы думаете чем вызванно большое разнообразие конфигураций продуктов (CPU) Intel? По количеству кОров, размерам cash-ей, наверняка еще чему нибудь. У меня есть обяснение, свое, но хотелось бы сначала выслушать специалиста по конкретному направлению.

Я не специалист по направлению бизнеса, не маркетолог, совсем. Так, погулять вышел, "джясьть аськинь " (© Аццкомото)
Моё частное, не корпоративное совсем, мнение совпадает с объяснением из той же статьи:
Разнообразие вызвано делением области предпочтительного применения на 4 сегмента:
1. Дешёвые процессоры - оптимизированное отношение производительность/цена
2. Усовершенствованные процессоры - максимальная производительность для большинства задач
3. Процессоры с увеличенным числом коров - повышенная производительность для масштабируемых задач
4. Оптимизированные по частоте процессоры (с относительно малым числом коров, повышенном объёмом кеша на ядро, другим режимом турбо и т.д.) - повышенная производительность для малопоточных задач

Это только для одной серии и ширпотреба, для Xeon-Е7 вступают другие критерии, для десктопных процессоров - третьи и т.д. В результате имеем богоугодное разнообразие вместо "единственно правильного" "марксизма от ЭВМ".

[zVlad]

... Влад, пожалуйста, будьте внимательны и делайте правильные выводы.....

Я понял что меня сконфузило. В этой ссылке:

http://ark.intel.com/products/family/71 ... rs#@Server

там где в других пишется размер cache-a порписано max memory size.

Тем не менее:

Intel® Xeon Phi™ Coprocessor 7120A - 61 cores L2 Cache 30.5 MB ~ .5 MB per core, и

Intel® Xeon® Processor E5-1660 v3 - 8 cores Intel® Smart Cache 20 MB = 2.5MB per core в пять раз больше.

Чем отличается "L2 Cache" от "Intel® Smart Cache"?

P.S. Еще одна закономерность - чем больше кОров тем меньше герц.

[oshibka_residenta]

У нас например в DB2 одна из самых потребных таблиц хранится в сжатом виде чтобы поместиться целиком в памяти. Страницы разжимаются на лету по мере обращения к ним.

Эти пляски с бубнами нужны для MF где память дороже золота. На Интел мы просто добавим памяти сколько надо.
Да, не эстетично, зато дешево, надежно и практично.

[iDesperado]

который раз Влад не имея представления о базисе, начинает рассуждать. хорошо хоть глубокий анализ о тупике не на базе Атома сделан.
реально же на десктопе Интел уже сделал целиком компьютер на чипе, разместив серьезную видеокарту и northbridge на процессоре.

[Palych]

У нас например в DB2 одна из самых потребных таблиц хранится в сжатом виде чтобы поместиться целиком в памяти. Страницы разжимаются на лету по мере обращения к ним.

Эти пляски с бубнами нужны для MF где память дороже золота. На Интел мы просто добавим памяти сколько надо.
Да, не эстетично, зато дешево, надежно и практично.

К тому же по идее должно быть быстрее...
Кстати, в MacOS память тоже сжимается.

[flip_flop]

Тем не менее:

Intel® Xeon Phi™ Coprocessor 7120A - 61 cores L2 Cache 30.5 MB ~ .5 MB per core, и

Intel® Xeon® Processor E5-1660 v3 - 8 cores Intel® Smart Cache 20 MB = 2.5MB per core в пять раз больше.

Это разные архитектуры, процессор супротив ко-процессора. О ко-процессоре можно много обсуждать, но это другое животное, с другой архитектурой системы памяти, это нечто между CPU и GPGPU.

Чем отличается "L2 Cache" от "Intel® Smart Cache"?

http://en.wikipedia.org/wiki/Smart_Cache
В процессоре это L3 cache. Те же 2.5 MB/core для 18-ти ядерного E5-2699 v3: 18*2.5=45 MB

[Dmitry67]

Серьезную видеокарту? Давайте сравним с линейкой nvidia

[iDesperado]

При таком подходе chip-ы не продаются в розницу, а из них делаются готовые компьютеры позволяющие программно конфигуриваться в огромном диапазоне мощностей CPU, размеров памяти, дополнительных устройств - для той же криптографии там где on-board crypto недостаточно и другого. Все это под управлением ОС способных все это использовать даже если прикладные программы не способны это использовать и конечно с предоставлением возможности использования программами. При этом у конечного пользователя задача выбора гораздо проще - надо всего лишь определиться с выбором одной из двух моделей семейства BC, и пяти моделей семейства EC. А все остально можно уже подогнать на местe, в процессе использования, более того автоматически это будет подогнано (в случае zOS).

если эти чипы столь прекрасны и универсальны, почему они для ИБМ второстепенный бизнес, а основной доход дают чипы созданные для unix pSeries ? зачем производить pSeries если "делаются готовые компьютеры позволяющие программно конфигуриваться в огромном диапазоне мощностей CPU, размеров памяти, дополнительных устройств " ? и вообще, что за полумеры в области софта ? зачем куча баз данных на МФ, зачем куча ОСей, почему бы и тут не лишить пользователя выбора ? что за дискриминация по чиповому признаку ? всех под одну гребенку на zOS и db2, не согласных расстрелять !

[iDesperado]

Серьезную видеокарту? Давайте сравним с линейкой nvidia

пожалуйте http://www.techpowerup.com/reviews/Inte ... GPU/3.html

[flip_flop]

который раз Влад не имея представления о базисе, начинает рассуждать. хорошо хоть глубокий анализ о тупике не на базе Атома сделан.
реально же на десктопе Интел уже сделал целиком компьютер на чипе, разместив серьезную видеокарту и northbridge на процессоре.

Атом - тоже не тупик, и на его основе делают серверы, просто в определённой нише. Впрочем, на МФ они не покушаются, пока

Интеграция развивается, да. Из новых вещей стоит отметить NVMe, по PCIe вместо видеокарты стоит SSD, связанный напрямую с процессором с массой усовершенствований протокола. У меня сейчас двух террабайтная карточка с 4x PCIe Gen3, с устойчивой скоростью чтения 3.2 ГБ/сек (не Гб/сек а именно ГБ/сек), с устойчивой скоростью записи 2.5 ГБ/сек и с латентностью менее 10 микросекунд. Некоторые вроде вычислительные тесты идут в два раза быстрее с этой карточкой вместо обычного SSD (который тоже не плох в виде SATA Gen3 [6 Gb/sec]). Очень доволен

[Dmitry67]

Серьезную видеокарту? Давайте сравним с линейкой nvidia

пожалуйте http://www.techpowerup.com/reviews/Inte ... GPU/3.html

Вы смеетесь?

http://www.hardwareluxx.ru/index.php/ar ... ml?start=2

40 GPU cores max?????

Вот что у меня дома
http://www.geforce.com/hardware/desktop ... ifications

1344 CUDA cores

[flip_flop]

Серьезную видеокарту? Давайте сравним с линейкой nvidia

пожалуйте http://www.techpowerup.com/reviews/Inte ... GPU/3.html

Интегральную как бы "карточку" на чипе с дискретными (иногда огромными) картами в виде PCIe? Не совсем корректно. Впрочем для среднего сегмента NVidia можно и сравнить, примерно одинаково. Из отдельным моментов такой интегральной графики надо упомянуть использование eDRAM, детище божественной IBM. Так что, такая графика, по крайней мере, богоугодная

[flip_flop]

Серьезную видеокарту? Давайте сравним с линейкой nvidia

пожалуйте http://www.techpowerup.com/reviews/Inte ... GPU/3.html

Вы смеетесь?

http://www.hardwareluxx.ru/index.php/ar ... ml?start=2

40 GPU cores max?????

Вот что у меня дома
http://www.geforce.com/hardware/desktop ... ifications

1344 CUDA cores

Это разные коры. По тестбенчам верхний сегмент видеокарточек быстрее Ирис-Про в разы, но не в десятки/сотни раз, как следовало бы из отношения коров.

[iDesperado]

1344 CUDA cores

я человек технический, меня корами не накормишь, мне fps подавай и на реальной задачи. как видите на играх вполне сравнимо с начальным сегментом Nvidia, но суть не в сегменте, а в "застое". с этим "застоем" через несколько лет похоже низший ценовой сегмент видеокарт перестанет существовать.

[zVlad]

Просмотрел. Спасибо.
Чем больше кОров тем меньше cash. Это понятно.

Это не так. Строго говоря, чем больше коров, тем больше кеш. В пересчёте на кор, удельный кеш примерно одинаков, за исключением отдельной группы оптимизированных по частоте процессоров. Посмотрите статью по Xeon v2600 v3: http://www.microway.com/knowledge-cente ... rocessors/
Там есть во втором графике выбор L3 Cache и там данные как по суммарному кеш так и по удельному (на ядро)......

Посмотрел. Подтверждаю что в этом семействе поддерживается одинаковый размер cache на core - 2.5 MB.