Акела промахнулся! В смысле, Интел обосрался

[Dmitry67]

Ну насчет нагрузки посмешил так посмешил. Беру первый попавшийся хост

- 2 cpu, 128 GB памяти, 20 VM. Хост на 2 поколения назад (HP G7)

беру новый хост.
- 2 CPU, 320 GB памяти, 24 VM-ки (туда облако их сбалансировало, оно постоянно двигает туда сюда для лучшего распределения нагрузок).

цена нового хоста, кстати, (это на 1 поколение назад, еще 3 более новых я под нагрузку не успел поставить толком) около $7K.

Сколько - сколько DR MF стоит, с 1 процессором?? А SSD диски там есть?

Строго говоря, Вы нам показали не нагрузку, а capacity...

Ну какая там нагрузка на MF с одной корой и 32 гигами памяти? У нас одна билд система больше лопает а их в зоопарке наверное под сотню. И сервер баз данных тестовый - 80 гигов памяти, 1 терабайт SSD, 12 виртуальных коров... Смешно читать про 32 гига на супер МФ. Нет, под какие то фиксированные задачи оно наверное и неплохо. Но могу ручаться, что весь новый софт и у них пишут под Интелы.

Ну на МФ с 32 GB как раз можно запустить одну виртуалку с Linux, а в ней - один Firefox )))

[Palych]

Ну какая там нагрузка на MF с одной корой и 32 гигами памяти? У нас одна билд система больше лопает а их в зоопарке наверное под сотню.

Например - какая у вас среднесуточная загрузка CPU?
Кстати, а Вы можете видеть загрузку I/O?
А загрузку памяти - сколько есть/сколько используется/сколько осталось? (Впрочем я знаю что это в принципе нельзя увидеть в современных java based системах...)

[Dmitry67]

Ну какая там нагрузка на MF с одной корой и 32 гигами памяти? У нас одна билд система больше лопает а их в зоопарке наверное под сотню.

Например - какая у вас среднесуточная загрузка CPU?
Кстати, а Вы можете видеть загрузку I/O?
А загрузку памяти - сколько есть/сколько используется/сколько осталось? (Впрочем я знаю что это в принципе нельзя увидеть в современных java based системах...)

По поводу памяти и IO все тоже просто. Нарезаем 32 гига на 32 виртуалки по гигу. Внутри виртуалок от недостатка памяти начинается дикий своп. И вот тут МФ блестяще начинает обрабатывать IO от этого свопа на вращающиеся диски)

[Palych]

По поводу памяти и IO все тоже просто. Нарезаем 32 гига на 32 виртуалки по гигу. Внутри виртуалок от недостатка памяти начинается дикий своп. И вот тут МФ блестяще начинает обрабатывать IO от этого свопа на вращающиеся диски)

Мудро.

[ALV00]

Ойдаладно. Придумают что-нибудь и против спектра. Например, сделают более сложный кеш.

Там есть возможность и без кэша бэкчаннел устроить...

Как я понимаю, нельзя без кеша. Функция не может нормальным образом вернуть значение, которое не положено возвращать логикой ее кода, и она его не возвращает. Левое значение может только попасть в кеш, который можно прочитать вышеупомянутым хитрым способом, через косвенную адресацию.

[StrangerR]

Ну какая там нагрузка на MF с одной корой и 32 гигами памяти? У нас одна билд система больше лопает а их в зоопарке наверное под сотню.

Например - какая у вас среднесуточная загрузка CPU?
Кстати, а Вы можете видеть загрузку I/O?
А загрузку памяти - сколько есть/сколько используется/сколько осталось? (Впрочем я знаю что это в принципе нельзя увидеть в современных java based системах...)

Все мы видим. С жабой косвенно, ВМваре репортует АКТИВНУЮ память.

На деле по CPU резервы в одном кластере 70% в другом 90% (в среднем), редко редко один - два хоста процентов на 80 заняты (в первом чаще, там билд системы крутятся), по вводу выводу - много разных источников данных, надо по конкретным смотреть.

[StrangerR]

Ойдаладно. Придумают что-нибудь и против спектра. Например, сделают более сложный кеш.

Там есть возможность и без кэша бэкчаннел устроить...

Как я понимаю, нельзя без кеша. Функция не может нормальным образом вернуть значение, которое не положено возвращать логикой ее кода, и она его не возвращает. Левое значение может только попасть в кеш, который можно прочитать вышеупомянутым хитрым способом, через косвенную адресацию.

Да нет, идея была в том что можно загрузку разных модулей процессора косвенно определить, а значит можно как-то снять информацию и командах выполнившихся вперед. Хотя на деле без кэша, конечно, мало что увидеть удастся.

[zVlad]

Ну насчет нагрузки посмешил так посмешил. Беру первый попавшийся хост

- 2 cpu, 128 GB памяти, 20 VM. Хост на 2 поколения назад (HP G7)

беру новый хост.
- 2 CPU, 320 GB памяти, 24 VM-ки (туда облако их сбалансировало, оно постоянно двигает туда сюда для лучшего распределения нагрузок).

цена нового хоста, кстати, (это на 1 поколение назад, еще 3 более новых я под нагрузку не успел поставить толком) около $7K.

Сколько - сколько DR MF стоит, с 1 процессором?? А SSD диски там есть?

Строго говоря, Вы нам показали не нагрузку, а capacity...

Совершенно верно, никто не пытается сказать иначе. Capacity, причем в неких относительных единицах.
Про нагрузку я лишь сказал что в одном разделе выполняется некоторое приложение в продукш режиме(с базой данных, бизнес логикой, транзакциями, диалогами некоторого количества - небольшого - пользователей) и в этом же разделе наша enterprise scheduling program запускает и отслеживает batch на всех не-МФ серверах, во втором разделе два инстанса этого же приложения для девелоперов, которых у нас полтора, и QA. В этом разделе может быть какая то работа, а может ее и не быть, я не следил, но речь идет о нормальных рабочих часах среди недели. Третий раздел наш системный sandbox где никаких работ не ведется, кроме имеющейся в sandbox автоматизации, котораы времаы от времени просыпается.
И вот вчера я загрузил DR image нашего другого, основного приложения. Систем стало четыре, на МФ s 1/20 одного кора - 50 MIPS. Все что я хотел сказать.
Серверов на x86 с меньше чем 4 корами я полагаю ни у кого уже нет ни для чего, даже для того чтобы загружать хотя бы одну систему. StrangeR хвастается 24 виртуальными машинами на серверe с 12 корами и туевой хучей памяти. Это разные вещи, ребята. Я то про МФ такой маленькой мощности что наверное только у нас, по некоторым причинам, такой используется.
Обычно когда мы делаем DR test я увеличиваю capacity до Z03 - три кора на максимум - 2767 MIPS - в 55 с лишним раз большей чем сейчас. Это у нас вариант для реального DR. А в этот раз я решил посмотреть что будет если остаться на 50 MIPS. Пока все нормально.
Еще раз нагрузка есть, продакшн для приложения бизнеса не маленького, плюс некоторые другие нагрузочки, плюс запускается и работает DR site более мощного приложения, правда без реальной нагрузки. Сегодня кстати DR будут тестировать люди клиента. Т.е. небольшое количество пользователей полезут в DB2 и апликэйшн сервер которые все здесь. На всякий случай я готов сделать update s 50 MIPS на 2767 MIPS за пару минут, но не буду этого делать пока не станет очевидно что цапациты не хватает. Еще мы делаем эксперименты с репликацией из DB2 в MS SQL на DR системе.

Если уж и теперь не понятно, то я не знаю.

[Dmitry67]

Если уж и теперь не понятно, то я не знаю.

Я даже не понял что вы хотите сказать )
Что бывают маленькие приложения?
Бывают. Я знаю приложения которые работают на MS SQL express в 512Mb, 1 core.

[zVlad]

...на супер МФ. ..

Это МФ с 1/20 одного кора zBC12 - 50 MISP. Супер МФ в семействе zEC12 (того же года что и zBC12) - 78426 MIPS.

[Palych]

Если уж и теперь не понятно, то я не знаю.

Я даже не понял что вы хотите сказать )
Что бывают маленькие приложения?
Бывают. Я знаю приложения которые работают на MS SQL express в 512Mb, 1 core.

Строго говоря "маленькое" приложение не обязательно меньше делает чем большое.
Особенно в наши дни.

...У нас однажды навернулся Data Center, и приложение работало на половине серверов.
При этом всплыли алёрты что память загружена процентов на 80.
Шеф говорит: "Надо удвоить память".
Я сказал что изначально мы планировали память для процессов (java) исходя из имеющейся памяти: поделили её на количество процессов, потом на 2 (для DR) и округлили в большую сторону. И что неплохо бы через jstat заглянуть внутрь процессов и посмотреть сколько они реально используют.
На что шеф ответил: "Кроме тебя про jstat ничего не говорит. Твоё время стоит дорого. Мне гораздо дешевле удвоить память или/и количество серверов"...

[zVlad]

Если уж и теперь не понятно, то я не знаю.

Я даже не понял что вы хотите сказать )
Что бывают маленькие приложения?
Бывают. Я знаю приложения которые работают на MS SQL express в 512Mb, 1 core.

Нет, я хотел сказать что бывают очень маленькие МФ и на них можно довольно значимую работу выполнять. Значимую для производителя электроэнергии провинции Онтарио, a не магазинчика торгующего призервативами.

[Dmitry67]

Если уж и теперь не понятно, то я не знаю.

Я даже не понял что вы хотите сказать )
Что бывают маленькие приложения?
Бывают. Я знаю приложения которые работают на MS SQL express в 512Mb, 1 core.

Нет, я хотел сказать что бывают очень маленькие МФ и на них можно довольно значимую работу выполнять. Значимую для производителя электроэнергии провинции Онтарио, a не магазинчика торгующего призервативами.

Как ни странно, для магазинчика торгующего презервативами нужно больше ресурсов
Потому что всякие java, сайты, логистика, datawarehouse, кубы, и все меняется каждый месяц

[tau]

Да и в провинции Онтарио, после того как энергопроизводящая отрасль была дерегулирована и, фактически, оторвана от бездонной государственной сиськи, уже тоже будут деньги считать.
Я так полагаю, если бы надо покупать компьютеры за свои, заработанные, а не за выданные дядей заюесплатно, то решения будут приниматься совсем другие.

[zVlad]

Если уж и теперь не понятно, то я не знаю.

Я даже не понял что вы хотите сказать )
Что бывают маленькие приложения?
Бывают. Я знаю приложения которые работают на MS SQL express в 512Mb, 1 core.

Нет, я хотел сказать что бывают очень маленькие МФ и на них можно довольно значимую работу выполнять. Значимую для производителя электроэнергии провинции Онтарио, a не магазинчика торгующего призервативами.

Как ни странно, для магазинчика торгующего презервативами нужно больше ресурсов
Потому что всякие java, сайты, логистика, datawarehouse, кубы, и все меняется каждый месяц

Кстати, ты очень хорошо сказал вчера что на Луну слетали на гораздо более слабых машинах. Я приводил пример про ПРО, которое в случае чего управлялала бы кучей антиракет против кучи боеголовок. Есть и другие аналогичные примеры.

Современные компы на много порядков мощнее, но что они делают? Призервативы продают вот что. На Java, datawarehouse, кубы.... T.e. подругому вся эта современная вычислительная мощь лишь дала возможность миллионам людей сраться в соцсетях, и смотреть ненужную рекламу и сплетни про всех и вся. Небольшая группа чудаков, именуемых ИТ-шники имеют работу и кормят семьи, еще меньшая группа - владельцы IT компаний вxодит в список самых богатых на земле. Вот и вся сказка про IT.

[Dmitry67]

Современные компы на много порядков мощнее, но что они делают? Призервативы продают вот что. На Java, datawarehouse, кубы.... T.e. подругому вся эта современная вычислительная мощь лишь дала возможность миллионам людей сраться в соцсетях, и смотреть ненужную рекламу и сплетни про всех и вся. Небольшая группа чудаков, именуемых ИТ-шники имеют работу и кормят семьи, еще меньшая группа - владельцы IT компаний вxодит в список самых богатых на земле. Вот и вся сказка про IT.

именно
подумайте, какие мощности по всему миру прямо сейчас задействованы, чтобы в реальном времени девушкам подрисовывать ушки и носики - видели такие аппликации?

Другое дело, ворчать по этому поводу или просто радоваться что растут суммарные мощности?

[zVlad]

Да и в провинции Онтарио, после того как энергопроизводящая отрасль была дерегулирована и, фактически, оторвана от бездонной государственной сиськи, уже тоже будут деньги считать.
Я так полагаю, если бы надо покупать компьютеры за свои, заработанные, а не за выданные дядей заюесплатно, то решения будут приниматься совсем другие.

Дерегулирована (продали Bruce Nuclear) она была в начале (самом начале) 2000x. Так что ждать когда начнут считать деньги уже поздноватенько пожалуй.

[tau]

Радоваться, разумеется. В сухом остатке - спрос на "срач в сетях" двигает прогресс в hardware, software и даже в академической области. Всё связано со всем, это такой баланс, что если что-то выдернуть, то остальное может пострадать. Казалось бы, нахрена Bell labs было писать академические статьи про механику соударения шаров в биллиарде? А я читал, мне понравилось.
Это вот такой прогресс. Ну, кто-то же будет лом в лесопилку совать, но не все же. Кому-то лесопилка действительно пригодится.
Это я даже ничего не говорю про то, что вся эта хрень обеспечивает всех тутошних написателей приличной работой.

[zVlad]

Современные компы на много порядков мощнее, но что они делают? Призервативы продают вот что. На Java, datawarehouse, кубы.... T.e. подругому вся эта современная вычислительная мощь лишь дала возможность миллионам людей сраться в соцсетях, и смотреть ненужную рекламу и сплетни про всех и вся. Небольшая группа чудаков, именуемых ИТ-шники имеют работу и кормят семьи, еще меньшая группа - владельцы IT компаний вxодит в список самых богатых на земле. Вот и вся сказка про IT.

именно
подумайте, какие мощности по всему миру прямо сейчас задействованы, чтобы в реальном времени девушкам подрисовывать ушки и носики - видели такие аппликации?

Другое дело, ворчать по этому поводу или просто радоваться что растут суммарные мощности?

Можно было бы конечно радоваться если бы быть уверенным что растут мощнoсти для блага и счастья людей. Но люди то вряд ли становятся счастливее от того что могут грубить и им не прилетает реальная ответка, больная.

[zVlad]

Сейчас к тестированию DR приступили люди клиента.
Получился с утра своего рода стресс-тест с показателями которые могут пролить некоторый свет на нагрузку.
Как я писал кроме того чтобы поднять DR site мы также экспериментировали с репликацией DB2 в MS SQL. Имеется в виду DR конечно. Чтобы было интересней я попросил отсечь MS SQL вчера после обеда, а split MF мы сделали сегодня в 9 утра. т.е. работа полусуток с лишним на БД должна была буть среплицированна. DBA MS SQL следил со своей стороны и докладывал что в пике было ~4000 requests/sec со стороны МФ. Requests это одиночные INSERTs, UPDATEs, DELETEs, которые посылал МФ в плане репликации. Это в пике, репликация велась в процессе с наименьшим приоритетом, в фоновом режиме, и заняла около 1.5 часов.

Я поинтересовался когда у IBM впервые появились машины с 50 MIPS. Это были IBM 3090 (47 MIPS) в 1988 году, т.е. 30 лет назад. Стоила такая машина $4.9M (наша model A01 стоит в десять раз дешевле). Но это была уже не самая мощная в семействе 3090, а с 120 MIPS стоила $12.8M.
http://www.roylongbottom.org.uk/mips.htm

[mskmel]

в пике было ~4000 requests/sec со стороны МФ. Requests это одиночные INSERTs, UPDATEs, DELETEs, которые посылал МФ в плане

Пусть один request это 1КБ, т.е. аж 4МБ в пике. Вы серьёзно верите что это нагрузка или троллите?

[Dmitry67]

Можно было бы конечно радоваться если бы быть уверенным что растут мощнoсти для блага и счастья людей. Но люди то вряд ли становятся счастливее от того что могут грубить и им не прилетает реальная ответка, больная.

Ну так девушки счастливее становятся

[Dmitry67]

в пике было ~4000 requests/sec со стороны МФ. Requests это одиночные INSERTs, UPDATEs, DELETEs, которые посылал МФ в плане

Пусть один request это 1КБ, т.е. аж 4МБ в пике. Вы серьёзно верите что это нагрузка или троллите?

Если каждый insert select delete в отдельной транзакции, а диски вращающиеся, то все это упрется в физический latency. Конечно, все это интересно только с исторической точки зрения

[Easbayguy]

Если уж и теперь не понятно, то я не знаю.

Я даже не понял что вы хотите сказать )
Что бывают маленькие приложения?
Бывают. Я знаю приложения которые работают на MS SQL express в 512Mb, 1 core.

Строго говоря "маленькое" приложение не обязательно меньше делает чем большое.
Особенно в наши дни.

...У нас однажды навернулся Data Center, и приложение работало на половине серверов.
При этом всплыли алёрты что память загружена процентов на 80.
Шеф говорит: "Надо удвоить память".
Я сказал что изначально мы планировали память для процессов (java) исходя из имеющейся памяти: поделили её на количество процессов, потом на 2 (для DR) и округлили в большую сторону. И что неплохо бы через jstat заглянуть внутрь процессов и посмотреть сколько они реально используют.
На что шеф ответил: "Кроме тебя про jstat ничего не говорит. Твоё время стоит дорого. Мне гораздо дешевле удвоить память или/и количество серверов"...

Ну что я могу сказать, если вас час работы посмотреть на йстат стоит дороже чем супградидь память со 128ГБ то 256гб на сотне серверов, то вам можно только позавидовать!