профессиональное железо

[Boriskin]

Сёрвер - заточен под "исполнение запросов извне" (по сети). Воркстейшн - заточена под исполнение запросов "изнутри" (с родной клавы/мыши).

Там ИМXО разные приоритеты выставлены в операционке для форегрaунд/бакграунд процессов. В остальном - "те же яйца, вид сбоку"(С). Ну и ещё на серверную версию Windows куча бесплатного софта (те же антивирусы) не встаёт (требуют платную "сёрверную" лайсенс). А так - большой разницы не замечено.

Насколько я помню, на виндовозных серверах другой TCPIP stack по сравнению с несерверными версиями, да и вообще, ядро затюнено по другому и для другого.

ЗЫ Я вот думаю, что если прога работает с 8ю корами, имеет мысл взять чтото с избытком, чтоб при полной загрузке оставались ресурсы на систему и все остальное, чтото типа 2х6 или 1х12. Кто-то выше упоминал - возможно новый МакПро с 12тиядерным Ксеоном будет вполне в тему. Правда пока рановато судить о его надежности - я пользую год и пока все отлично, но год - это еще не показатель.

[Leonid_V]

возможно новый МакПро с 12тиядерным Ксеоном будет вполне в тему. Правда пока рановато судить о его надежности - я пользую год и пока все отлично, но год - это еще не показатель.

выяснились интересные детали ...
мой местный магазин (а мне без него никак, иначе через бухгалтерию будет сложно провести) отказывается продавать рабочую станцию с Windows Server. Только если сервер.
Если покупать МакПро, то значит Windows Server к нему надо как-то отдельно докупать и устанавливать. И наверняка будут проблемы ... я люблю Маки, но не люблю лишнюю головную боль.

[flip_flop]

Автору нужен исключительно Виндоуз. К тому же он будет работать только с программой, во время работы с программой всё остальное будет минимально. Так что и 8 ядерный компьютер должен подойти, накладные расходы на "ОС и усё остальное" будут минимальны. Ну, а если с солидным запасом - я бы предложил станцию от Supermicro, например, с 2-мя 18-ти ядерными процессорами. Хотя есть почти обычные корпуса и с 4-мя супернадёжными 18-ти ядерными Xeon-E7 v3 (я окусывался вокруг этого - http://www.supermicro.com/products/syst ... B-TR3F.cfm" onclick="window.open(this.href);return false;), но это уже перебор

Автору - сбросьте вашу программу на флешку и поэкспериментируйте конкретно с вашей программой на разных машинках. Начните, например, с указанной станции HP. В арсенале и 8-ми ядерный процессор, оптимизированный по частоте, и 12-ти ядерный, с уклоном в многопоточность. Потом на 2-х процессорном ящичке. Если Вам работать исключительно с Вашей программой, используйте её для теста.

По надёжности - новые Xeon и память с ECC обеспечивают хорошую аппаратную базу. Ну, а как с программной и ОС надёжностью, тут требуется помощь программисткской братии, мне кроме Линукса и Мака ничего не известно

[Boriskin]

Если покупать МакПро, то значит Windows Server к нему надо как-то отдельно докупать и устанавливать. И наверняка будут проблемы ... я люблю Маки, но не люблю лишнюю головную боль.

Я ставил винду на предыдущие МакПро и практически все версии МакБукПро за последние 7 лет, иногда бывают косяки, но в целом все достаточно безболезненно. В вашем случае я думаю таки имеет смысл купить все заточенное под винду изначально, но примерно с теми же характеристиками.

[Leonid_V]

Автору - сбросьте вашу программу на флешку и поэкспериментируйте конкретно с вашей программой на разных машинках.

Это колоссальный пакет стоимостью 60К, который планируется купить. Размер пакета около 100 GB. Он защищен всякими разными прибамбасами и устанавливается только разработчиком после покупки.

[Leonid_V]

ЗЫ Я вот думаю, что если прога работает с 8ю корами, имеет мысл взять чтото с избытком, чтоб при полной загрузке оставались ресурсы на систему и все остальное, чтото типа 2х6 или 1х12.

Пардон за глупый вопрос.
Допустим программа умеет использовать 8 ядер. И использует. Если ядер 10 то система не полезет в уже занятые работой 8 ядер. Она поймет, что два свободно и нужно использовать их?

[flip_flop]

Автору - сбросьте вашу программу на флешку и поэкспериментируйте конкретно с вашей программой на разных машинках.

Это колоссальный пакет стоимостью 60К, который планируется купить. Размер пакета около 100 GB. Он защищен всякими разными прибамбасами и устанавливается только разработчиком после покупки.

Ну, флешку с 128 ГБ найти не проблема, а вот прибамбасы для защиты - это совсем другое дело. Но, за такую цену разработчики просто обязаны ответить на все Ваши вопросы, включая:
1) Только 8 ядер или может использовать больше?
2) Умеет ли она оптимально использовать возможности двухпроцессорной станции? Результаты тестов масштабируемости (например, на одном процессоре с 8-ми ядрами супротив на двух процессорах с 4-мя ядрами)
3) Умеет ли программа использовать процессорно ориентированные опции компиляторов, например AVX/AVX2 ?
4) Программа ограничена вычислениями (compute bound) или работой с оперативной памятью (memory bound)?
5) Насколько критична дисковая система?

И т.д. и т.п., в том числе какую машинку они посоветуют.

[flip_flop]

ЗЫ Я вот думаю, что если прога работает с 8ю корами, имеет мысл взять чтото с избытком, чтоб при полной загрузке оставались ресурсы на систему и все остальное, чтото типа 2х6 или 1х12.

Пардон за глупый вопрос.
Допустим программа умеет использовать 8 ядер. И использует. Если ядер 10 то система не полезет в уже занятые работой 8 ядер. Она поймет, что два свободно и нужно использовать их?

Система уже сидит на всех ядрах, до запуска Вашей программы. Но она достаточно маленькая и её накладные расходы тоже невелики. Вот сейчас проверил у себя на Линуксе, примерно 1%. Когда загрузиться Ваша программа, она должна иметь более высокий приоритет, то есть она может занять практически 100% (если правильно разработана). Это если Вы не будете параллельно играться в какую то суперсовременную игрушку

[Leonid_V]

Ну, флешку с 128 ГБ найти не проблема, а вот прибамбасы для защиты - это совсем другое дело. Но, за такую цену разработчики просто обязаны ответить на все Ваши вопросы, включая:

O! Вот тут-то вся собака и зарыта.

Стратегия фирмы: плати за наш комп и всё будет. Хочешь рыться в деталях? ОК, мы любезно ответим на все вопросы (и это действительно так, если не принимать во внимание сроки ответов). А вот попробуй эти вопросы задать. Ты ведь специалист в микроскопии и вообще в биологии и медицине? Ну те-с, ну те-с. Посмотрим, как ты будешь нам вопросы задавать.
(это моя интерпретация, но выглядит это именно так. Всё надо выцарапывать. А чтобы выцарапывать надо знать какие вопросы задать. А вот именно для этого и открыл тему. Фирме-то невдомек, что я умею пользоваться Приветом. Они привыкли к клиенту который сначала платит 6К за их маломощный комп, потом удивляется, что всё так долго, потом обращается к ним, они говорят, так кто ж знал, что у Вас такие объемы. Но так и быть вот Вам еще более мощный комп всего, уж так и быть, за 12К. Ну, может я слегка преувеличиваю, но пока выглядит именно так)

1) Только 8 ядер или может использовать больше?
2) Умеет ли она оптимально использовать возможности двухпроцессорной станции?

уже, благодаря дискуссии здесь задал именно этот вопрос. Большое спасибо всем ответившим.

3) Умеет ли программа использовать процессорно ориентированные опции компиляторов, например AVX/AVX2 ?

можно по-русски, пожалуйста.

4) Программа ограничена вычислениями (compute bound) или работой с оперативной памятью (memory bound)?

они сказали 16GB максимум. Т.е. больше не потянет.
Вообще всё делалось на WinServer 2008. Полагаю, что многое из того что можно спросить тогда еще просто не существовало.

в том числе какую машинку они посоветуют.

ту, которую предлагают купить у них за сумасшедшую цену. Вопрос был задан и закрыт ими немедленно. Ничего другого они не продают и не советуют.
Спасибо, хоть разработчики на вопросы отвечают.

[Leonid_V]

Система уже сидит на всех ядрах, до запуска Вашей программы. Но она достаточно маленькая и её накладные расходы тоже невелики. Вот сейчас проверил у себя на Линуксе, примерно 1%. Когда загрузиться Ваша программа, она должна иметь более высокий приоритет, то есть она может занять практически 100% (если правильно разработана).

а система поймет, что надо пойти в другие два свободных ядра?

[Leonid_V]

Кстати еще одна такая забавная штука.

Та машина, которую я трогать не буду, и которая управляет микроскопом и “в принципе“ может использоваться для анализа это Windows® 7 Professional Operating System.

а вот то, что они предлагают как дополнительную, мощную станцию это уже WinServer.
то, что они предлагают в ответ на мой запрос об “идеальной конфигурации“ это тоже WinServer.

Т.е. программа “в принципе“ может крутиться и на Win 7. Но явно предпочитает сервер, раз они его советуют как настоящую станцию для обработки.

[flip_flop]

3) Умеет ли программа использовать процессорно ориентированные опции компиляторов, например AVX/AVX2 ?

можно по-русски, пожалуйста.

Не уверен, но попробую обьяснить. Новые процессоры имеют новые возможности, например использовать больше разрядов в векторных операциях. Например, складывая два вектора А=А+Б, они могут одновременно складывать 128 разряда (без AVX) или 256 (с AVX). Вопрос можно задать по другому - какую наиболее новую архитектуру процессора умеет оптимально использовать программа?

4) Программа ограничена вычислениями (compute bound) или работой с оперативной памятью (memory bound)?

они сказали 16GB максимум. Т.е. больше не потянет.

Дело не в oбъёме данных, а в том, насколько часто данные гоняются туда-сюда и при этом ядра простаивают.

[Leonid_V]

Например, складывая два вектора А=А+Б, они могут одновременно складывать 128 разряда (без AVX) или 256 (с AVX). Вопрос можно задать по другому - какую наиболее новую архитектуру процессора умеет оптимально использовать программа?

ну вот видите, как всё просто.
т.е. конкретный вопрос будет звучать так: обучена ли программа общаться с процессорами имеющими AVX (а может даже и AVX2 раз пошла такая песня).
если нет то нет смысла переплачивать (если будет выбор, а то может и выбора не будет среди того, что предлагает сегодня HP через моего локального продавца)

Спасибо.
Кстати, посмотрел на данные (может не там смотрел), но AVX даёт вроде до 10% ускорения в задачах, где он используется. Это как-то не впечатляет (возможно ошибаюсь)

[Vladimir1440]

Кстати, посмотрел на данные (может не там смотрел), но AVX даёт вроде до 10% ускорения в задачах, где он используется. Это как-то не впечатляет (возможно ошибаюсь)

А Вы и наращиваете перформанс "процентами" а не в разы.

Ну не бывает так: взял старый комп, сунул (например) в него крутую видеокарту приблудившуюся - и "всё - стало быстрее вдвое".

+ 10 процентов там, + 15 процентов тут - они же перемножаются, а не суммируются. Если я вижу что когда я в машине что-то меняю и она стала "на глаз совсем чуть-чуть быстрее" - я считаю, что "результат - достигнут" (возня - имела смысл).

Побыстрее видео, побольше памяти, пошустрее процессор, покруче диск контроллер, операционку на быстрый диск, и т.д. - глядь, а машина-то в сумме чуть ли не вдвое быстрее стала.

[oshibka_residenta]

Это колоссальный пакет стоимостью 60К, который планируется купить. Размер пакета около 100 GB. Он защищен всякими разными прибамбасами и устанавливается только разработчиком после покупки.

100GB ?

[flip_flop]

Спасибо.
Кстати, посмотрел на данные (может не там смотрел), но AVX даёт вроде до 10% ускорения в задачах, где он используется. Это как-то не впечатляет (возможно ошибаюсь)

Всё зависит от приложений и того, куда мы смотрим. При хорошей векторной задаче и умении использовать векторизацию, переход от SIMD к АВХ даёт 60-70 % при потенциальной ассимптотической границе в 100 % : https://software.intel.com/en-us/blogs/ ... pplication" onclick="window.open(this.href);return false;

Мне, правда, реально удавалось где-то 10% для реальных задач. Но, Владимир прав, там-сям поднаберём и всё становится шустрее.

Кстати, давным давно я пользовался дорогим пакетом для обработки изображений (визуализация данных моделирования CFD). Потом попробовал гораздо более дешёвый Матлаб для тех же задач и остался в нём. А сейчас всё могу на свободных бесплатных пакетах, типа Python/SciPy/matplotlib, Mayavi и прочих. Конечно, если у Вас не только обработка изображений, но и всякая специфика, то ширпотребом не обойтись. Но, окиньте взором ландшафт открытого и бесплатного кода.

[Leonid_V]

Кстати, посмотрел на данные (может не там смотрел), но AVX даёт вроде до 10% ускорения в задачах, где он используется. Это как-то не впечатляет (возможно ошибаюсь)

А Вы и наращиваете перформанс "процентами" а не в разы.

Ну не бывает так: взял старый комп, сунул (например) в него крутую видеокарту приблудившуюся - и "всё - стало быстрее вдвое".

+ 10 процентов там, + 15 процентов тут - они же перемножаются, а не суммируются. Если я вижу что когда я в машине что-то меняю и она стала "на глаз совсем чуть-чуть быстрее" - я считаю, что "результат - достигнут" (возня - имела смысл).

Побыстрее видео, побольше памяти, пошустрее процессор, покруче диск контроллер, операционку на быстрый диск, и т.д. - глядь, а машина-то в сумме чуть ли не вдвое быстрее стала.

Понял
Спасибо

[Leonid_V]

обойтись. Но, окиньте взором ландшафт открытого и бесплатного кода.

нет,
мне нужно готовое супер-решение для основных задач.
У нас есть особые ребята, которые за отдельную зарплату решают особые задачи с которыми не справляются мои программы.
С особыми ребятами у меня особые отношения, потому как они берут деньги со всех, а мой сервис работает с каждым за красивые глаза (типа платная и “бесплатная“ медицина). Очень люблю этих ребят, но им тем лучше, чем хуже справляется мой сервис с задачами.
Так что мы инвестируем пока 60К в бесплатный сервис, а уж в особых случаях, для индивидуальных задач ...
Пока что у меня задача переучить пол-универа на радикально иной подход к микроскопии. С философии “несколько полей зрения“ перейти на “полный виртуальный слайд“. Поверьте это не такая простая задача.

[Leonid_V]

а вообще господа, я благодаря Вашим указаниям, просидел несколько часов в интернете и скрещивая мои финансы и предпочтения с Вашими советами пришел к выводу, что наилучшим сочетанием имеющегося в свободном доступе (без индивидуальной сборки) и всей той информации, которую от Вас получил является
http://www.tigerdirect.ca/applications/ ... &CatId=329" onclick="window.open(this.href);return false;
Price:
CAD 3,685.99

Если окажется, что программа поддерживает доп. процессор, то просто добавим
http://www.tigerdirect.ca/applications/ ... sho1984440" onclick="window.open(this.href);return false;
Price:
CAD 1,185.99

ну ничего лучше по соотношению цена/качество у меня не выходит, хоть убейте.

одна проблема. Непонятно какими его дисками набивать. По сравнению с теми дисками, что покупал для домашнего компа (external 4 TB всего за 150 CAD) то, что предлагает HP стоит какие-то немерeнные деньги. Я не против, но не могу понять за что.

[Vladimir1440]

одна проблема. Непонятно какими его дисками набивать. По сравнению с теми дисками, что покупал для домашнего компа (external 4 TB всего за 150 CAD) то, что предлагает HP стоит какие-то немерeнные деньги. Я не против, но не могу понять за что.

Вот это про диски там по Вашей ссылке ("bays" - это для "коробочек с дисками внутри, разьемами, полозьями по бокам, и замком спереди"):

8 hot swappable bays; provides a large storage capacity to save important applications and daily business data

Диски - вдвигаются в bays "как ящики в стол" (отвертка не нужна). И выдвигаются (можно поменять полетевший, если сконфигурирован заранее рейд был, не ребутая машины: на лету).

Ну и они там "энтерпрайз-грейд"- долговечнее, быстрее, выдерживают бОльшие температуры и пр. Это - совсем не диски домашниx компов. Ну и "треи" (сами "коробочки" в которые диски вкручены) - тоже денег стоят, и гарантия там лучше - вплоть до "доставки нового диска Вам за 24 часа" (a если и сама машина тоже на гарантии - с диском приедет и теxник для его замены), отсюда и цена.

[Leonid_V]

Диски - вдвигаются в bays "как ящики в стол" (отвертка не нужна). И выдвигаются (можно поменять полетевший, если сконфигурирован заранее рейд был, не ребутая машины: на лету).

Ну и они там "энтерпрайз-грейд"- долговечнее, быстрее, выдерживают бОльшие температуры и пр. Это - совсем не диски домашниx компов. Ну и "треи" (сами "коробочки" в которые диски вкручены) - тоже денег стоят, и гарантия там лучше - вплоть до "доставки нового диска Вам за 24 часа" (a если и сама машина тоже на гарантии - с диском приедет и теxник для его замены), отсюда и цена.

Господи, как всё сложно для того, кто ничего не знает ...
ОК ...
Вот такое подойдет?
Seagate Enterprise Capacity 3.5 HDD V.4 ST6000NM0104
Hard drive - 6 TB - internal - 3.5" - SAS 12Gb/s - 7200 rpm - buffer: 128 MB - FIPS 140-2 - SED
CAD $698.00

Вы со мной прям как с младенцем возитесь, спасибо большое

[Vladimir1440]

Вот такое подойдет?

"Seagate Enterprise Capacity" - name of the company and the info that the drive is way bigger than average

"3.5" - size of the hard drive (3.5 inches across)

"HDD" - hard disk drive

"V.4 ST6000NM0104" - model of that drive

"Hard drive - 6 TB" - once more, this is a hard disk drive, 6 TB

"internal - 3.5" " - and this drive is 3.5 inches across

"SAS 12Gb/s" - serial attached SCSI (fast controller for hard drives)

"7200 rpm" - speed of the drive (there are 5400, 7200, 10000, and 15000)

"buffer: 128 MB - FIPS 140-2 - SED" - cache on the drive (128mb is a lot).

Не подойдет, потому что у выбранного вами HP ProLiant ML350 Gen9 Server Tower:

...SAS - hot-swap 2.5"...

диски физически (в инчаx) - два с половиной инча, а этот - три с половиной. Он туда - физически не влезет: он шире, чем место для него.

И если сами набираете диски, придётся покупать отдельно "треи" для ниx и крутить отвёртку (вам это, как я понял, неоxота - но это несложно).

[Dmitry67]

диски физически (в инчаx) - два с половиной инча, а этот - три с половиной. Он туда - физически не влезет: он шире, чем место для него.

Со сметанкой влезет

[Leonid_V]

И если сами набираете диски, придётся покупать отдельно "треи" для ниx и крутить отвёртку (вам это, как я понял, неоxота - но это несложно).

спасибо большое за подробный разбор.

Так и знал, что без отвертки не обойдется.
2.5“ выбор очень маленький, цена большая, а 6ТВ вообще вроде не существует
прийдется покупать ящики 3,5 и вкручивать.
Интересно зачем HP выпускает серверы под 2.5“

[Vladimir1440]

Интересно зачем HP выпускает серверы под 2.5“

Потому что можно набрать дисков МНОГО тогда. Больше иx, чем 3.5" в том же корпусе будет.

Набрав много дисков (пусть каждый и поменьше - но вас же "сумма" интересует) на один навороченный рейд-контроллер, вы реально поднимаете производительность дисковой подсистемы (по сравнению с одним здоровенным диском). Чтение и запись идут одновременно на много дисков сразу.

Ну и редантанси: все кроме рейд0 - переживут если один из дисков вылетит: машина продолжит работать.

Вам главное определиться: нужны вам xот-плаггбл диски то (чтобы менять вылетевший диск на исправный "на лету"). Или ваша система переживёт, что её надо будет ребутнуть для этого. Xот-плаггабл банально дороже, а так - то же самое.