профессиональное железо

[flip_flop]

Про рабочие станции - ну они разные бывают, но я бы сказал что tower server это лучшая рабочая станция. Все таки хоть убейся, но в рабочих станциях и рейды нормальные редко ставят и реданданси по например вентиляторам редко бывает и диагностика встроенная. Хотя есть тенденция поставить сервер на попа, и объявить его рабочей станцией - тогда оно конечно, разницы никакой.

Ну, насчёт райдов не согласен, ставится по желанию заказчика элементарно. Резервные hot swap вентиляторы - это да, этого нет, но может быть и не надо, поскольку загрузка меньше и если стоит в офисе а не в чёртовом пекле датацентров. Ну и надо тихо-тихо. А вот по диагностике непонятно. Один и тот же процессор, одна и та же серверная материнка с BIOS/EFI, тот же RHEL. Какая разница во встроенной диагностике? Если именно для одного узла?

[Boriskin]

StrangerR, консенсус!

Вообще, судя по всему, все медленно сходится к тому, чтобы брать какой то в меру быстрый и надежный и стандартный сервак и прикручивать к нему некий механизм бэкапа. Про бэкап встает вопрос - насколько часто, насколько много, можно ли делать не полную копию, а сливать только изменения (ака incremental).

Леонид, какого рода и объема ожидается workload & data volume? Гигабайты/терабайты новых данных в день/неделю/месяц? Насколько критична потеря данных за день/неделю?

[flip_flop]

Может, сделать RAID10 и не мучаться?

[Leonid_V]

StrangerR, консенсус!

Вообще, судя по всему, все медленно сходится к тому, чтобы брать какой то в меру быстрый и надежный и стандартный сервак и прикручивать к нему некий механизм бэкапа. Про бэкап встает вопрос - насколько часто, насколько много, можно ли делать не полную копию, а сливать только изменения (ака incremental).

Леонид, какого рода и объема ожидается workload & data volume? Гигабайты/терабайты новых данных в день/неделю/месяц? Насколько критична потеря данных за день/неделю?

Ситуёвина в кратце такова.
Все “данные“ существуют в виде гистологических слайдов на стекле. Т.е. в случае уж какой-то неимоверной кататстрофы их можно пересканировать. Часть данных на стеклах храниться долго не может (неделя - две).

Область для меня новая. Т.е это первый сканнер такого рода у нас в универе/клинике. Народ пишет что нужны терабайты и терабайты, чтоб это всё крутилось без оглядки на “кто не почистил диск от своих данных“.
В принципе могу перекинуть ответственность на хранение информации на те лаборатории, которые ко мне прийдут с протянутой рукой: “Хотите сканировать? Покупайте 4TB внешний диск и храните всё на нём. Если что — я не виноват“ В какой-то степени так и прийдется сделать, но хотелось бы иметь некий “буфер“. По прикидкам и научной литературе 12ТB будет как раз. Плюс запасная копия типа бэкапа.

А вот сервак или нет .... знаете самым критичным является скорость. Если сервер, но процессор за 6К будет чуть-чуть менее скоростным, чем на workstation за те же деньги. Плюс дополнительные траты на диски типа hot-swap итд. Т.е. надежность чуть-чуть выше, потому что железо серверное и диски и всё прочее, но зато чуть медленнее.

На самом деле вопрос решится новыми параметрами новой программы. Если она по прежнему хочет WinServer, то вопрос решен. Если допускает обычный Windows - продолжаем думать.

[novitssv]

у нас все это сделано - по типу сервера, очень удобно, файлы доступны из разного места, не требуя какого либо софта - по типу google maps, так же могу ссылку посылать любому и он может проверять слайды.... сколько все это занимает хрен его знает. Знаю что они сканируют для всех, не только для нашего института за кажется 10 долларов слайд (могу ошибиться)... вот пример, сканировался на 20х, максимально возможно на 40х, так же можно IF
http://ebcdih.mc.vanderbilt.edu/dih/web ... 0037990914" onclick="window.open(this.href);return false;

[Vladimir1440]

Один и тот же процессор, одна и та же серверная материнка с BIOS/EFI, тот же RHEL. Какая разница во встроенной диагностике? Если именно для одного узла?

Строго говоря, материнка - "очень поxожая, но не один-в-один та же самая". У сервера зачастую - больше слотов памяти на ней, чем у воркстейшн. Также у сервера на ней - простенькая совсем видеокарта (15-ногий разьем, "ди-суб" т.е.) может быть например, или ILO-нетворк-карта прямо на материнке (отдельный нетворк, через который можно ремоутли заxодить прямо на консоль, т.е. совершенно независимый от операционки стоящей на сервере), может быть например две нетворккарты на материнке (тимед) а на воркстейшене - только одна, и т.д. и т.п.

Да, процессор - те же, контроллер памяти - тот же, но материнки у воркстейшна и серверa - при этом разные. Разумеется, не уверен, для всей ли номенклатуры продукции так. Но у того, что видел - так.

[flip_flop]

Один и тот же процессор, одна и та же серверная материнка с BIOS/EFI, тот же RHEL. Какая разница во встроенной диагностике? Если именно для одного узла?

Строго говоря, материнка - "очень поxожая, но не один-в-один та же самая". У сервера зачастую - больше слотов памяти на ней, чем у воркстейшн. Также у сервера на ней - простенькая совсем видеокарта (15-ногий разьем, "ди-суб" т.е.) может быть например, или ILO-нетворк-карта прямо на материнке (отдельный нетворк, через который можно ремоутли заxодить прямо на консоль, т.е. совершенно независимый от операционки стоящей на сервере), может быть например две нетворккарты на материнке (тимед) а на воркстейшене - только одна, и т.д. и т.п.

Да, процессор - те же, контроллер памяти - тот же, но материнки у воркстейшна и серверa - при этом разные. Разумеется, не уверен, для всей ли номенклатуры продукции так. Но у того, что видел - так.

Согласен в целом. Хотя, часто, память одна и та же и для серверов и для рабочих станций. А вот всякие выделенные интегрированные средства сетевого контроля над узлом (отдельно от процессора и чипсета) - это да, чисто серверное, для рабочей станции ненужное. Век живи - век учись - я как то зациклился на процессоре, памяти, и чипсете, а тут, оказывается есть и другие прибамбасы.

[Leonid_V]

у нас все это сделано - по типу сервера, очень удобно, файлы доступны из разного места, не требуя какого либо софта - по типу google maps, так же могу ссылку посылать любому и он может проверять слайды.... сколько все это занимает хрен его знает. Знаю что они сканируют для всех, не только для нашего института за кажется 10 долларов слайд (могу ошибиться)... вот пример, сканировался на 20х, максимально возможно на 40х, так же можно IF
http://ebcdih.mc.vanderbilt.edu/dih/web ... 0037990914" onclick="window.open(this.href);return false;

WOW! в яблочко! Спасибо!

Сейчас у меня на это уже нет явно средств, но не могли бы Вы познакомить меня с заведующим всей этой “хреновиной“. Я бы с удовольствием поболтал, а заодно сделал бы copy&paste конфигурации и незамедлительно перешел бы к этапу выпрашивания на нея народных денег.

Не требуя никакого софта это для друзей-патологов у которых глаз-алмаз. Нам нужен софт для математического анализа, а не для погляда по типу google maps

[StrangerR]

Может, сделать RAID10 и не мучаться?

Это разные вещи.

Райд в первую очередь дает возможность менять диски по мере их вылета, и более менее не бояться внезапной поломки сервера. НО рейд не панацея
- во первых, бывает что и рейд глючит. Кэш память в особенности. Очень редко но не невероятно. У меня из наверное сотни другой серверов в статистике - пару раз в истории были такие отказы.
- во вторых диски любят летать парами. Так что рейд в котором запас прочности 1 диск - имеет небольшой шанс все таки полететь. Рейд-6 надежнее но см пункт 1 а кроме того скорость на запись там похуже
- в третьих, и это важно, бэкапы защищают от потери данных как из за физической поломки так и из за логики (удалили что-то случайно).

Поэтому обычная политика
- рейд для надежной работы железа
- имейдж копия, или иногда можно просто склонировать диск вытащив диск 2 и поставив туда новый (а старый диск-2 будет с копией). Можно делать на включенный туда же USB диск или по сети или на комп рядом на отдельный диск.
- бэкапы ДАННЫХ, раз в сутки дифференциальный и в неделю полный, если данные критичны /и тогда уж бэкап отправляется куда то в другое место/ или если не критичны, можно просто бэкапить на диск стоящий отдельно. (И иногда его менять, на случай _вот пуля прилетела и ваш дата центр сгорел_).
- можно купить что то вроде Акроникса, поставить диск сетевой и бэкапить на него (например диск 4 TB).

И не надо путать цель Рейда (бессбойнай работа независимо от работы дисков, возможность менять железо по мере вылета не останавливая работу, поэтому же кстати 2 блока питания и N+1 вентиляторов делают у серверов), и цель бэкапа (Вася вчера случайно кнопочку нажал и снес все наши данные за последний месяц, спасите помогите дайте бэкап). И цель имейдж бэкапа (быстро восстановить саму ОС в вид пригодный для накатывания бэкапа данных). При том все это вовсе не дорого если делать правильно.

[Leonid_V]

Господа, а раз уж пошла такая песня ...

программа моя (еще не купил, а уже моя ) со страшной самобытной силой использует всяческие Interactive Algorithms, где Interactive это не с пользователем, а сама с собой (как это будет по-русски?)
Ничего не понимаю ни в математике, ниже в программировании, но чует моё сердце, что после каждого цикла она промежуточный результат должна записывать на диск в виде новой картинки, потом считать следующий цикл, создавать новый промежуточный вариант вместо старого итд итп. И всё это общаясь с диском, т.е. очень медленно. А если прикупить RAM слегка и создать на ней виртуальный диск, оно не ускорится?

Или это я лезу в грязных лаптях в тонкий мір недоступных мне понятий?

[StrangerR]

Все “данные“ существуют в виде гистологических слайдов на стекле. Т.е. в случае уж какой-то неимоверной кататстрофы их можно пересканировать. Часть данных на стеклах храниться долго не может (неделя - две).

Тогда все таки - SAN и RAID-6, и возможность SAN расширять, и простенькая tape lib на которую можно скатывать новые данные. Если у вас все будет расти и расти, просто _сервером_ вы не отделаетесь, а SAN можно и расширять а можно и просто второй дотащить и данные размазывать. Вообще говоря, если там большой объем постоянно приходящих данных, и их хранить долго, задача меняется. Еще важно понять политику удаления - когда данные можно удалять, при каких условиях (а то сколько видел проектов в которых уже 4 года все работает а вопрос _удаления_ даже еще и не обдумывали, в итоге все растет... растет... растет... и уже начинает доставать даже с партишинингом...)

Для таких случаев как выше удобны RAID-6 (он не очень быстро пишет но допускает отказ 2 дисков и не теряет скорости при отказе одного) и SAN с возможностью добавления стоек дисков. Просто _сервер_ удобен если только по расчетам емкости дисков (при условии что вы еще добавите до максимума) хватит ну лет на 8. Тот же HP G8 DL380 - 12 позиций под LFF диски, и например 10 x 4 TB -> 32 TB raid6 data (+2 позиции или под spare или под скажем SSD для read cashing). Но я бы ставил стойку навроде HP P2000 и iSCSI, как забьется можно добавить еще одну на ходу и так раза 3 - 4. Короче, если данных у вас за год накапливается под 1 - 2 TB и данные нужно хранить долго, нужно быть осторожным с _простыми_ решениями. Можно еще о бэкапе в облако подумать но это может быть дорого.

[Leonid_V]

И не надо путать цель Рейда (бессбойнай работа независимо от работы дисков, возможность менять железо по мере вылета не останавливая работу, поэтому же кстати 2 блока питания и N+1 вентиляторов делают у серверов), и цель бэкапа (Вася вчера случайно кнопочку нажал и снес все наши данные за последний месяц, спасите помогите дайте бэкап). И цель имейдж бэкапа (быстро восстановить саму ОС в вид пригодный для накатывания бэкапа данных). При том все это вовсе не дорого если делать правильно.

О!
золотые слова!

Исходя из задачи и финансов прихожу к окончательному выводу, что мне нужен в первую очередь бэкап типа Time Machine, a вовсе не рейд.

Кстати, а для PC существует аналог Time Machine?

[Leonid_V]

простенькая tape lib

можно пример с ценой, пожалуйста
а то я какие-то невероятные цены нашел, дороже диска

[Leonid_V]

Тогда все таки - SAN и RAID-6, и возможность SAN расширять,.

нет,
это всё замечательные решения исходя из серверной философии.
У меня на это сейчас нет ни необходимости, ниже средств.

Один комп для сканнера (не трогаем, не обсуждаем, это определяет фирма и я туда не лезу. Вопрос гарантии и прочего)

Два независимых компа для обработки данных.
Всё.

Вопрос только в локальном, при оных компах “складе“ данных. Т.е. в его конфигурации оптимальной на отпущенные деньги.

Слово “сервер“ здесь фигурирует исключительно потому, что программа требует эту OS.
И это пока единственная причина.

Надежность серверного железа как такового будет рассмотрена при небольшом избытке средств если он неожиданно проявится в результате творческой дискуссии с продавцами железа. Т.е. может случиться, что при определенном стечении маркетинговых обстоятельств продавец будет готов уступить серверное железо не сильно дороже рабочей станции.

Такой вот мой вывод по результатам общения со специалистами здесь.
Но это только при условии, что программа способна функционировать нормально на обычной Windows. Еже ни, то вопрос выбора типа железа отпадает сам-собой. Это будет сервер.

[novitssv]

у нас все это сделано - по типу сервера, очень удобно, файлы доступны из разного места, не требуя какого либо софта - по типу google maps, так же могу ссылку посылать любому и он может проверять слайды.... сколько все это занимает хрен его знает. Знаю что они сканируют для всех, не только для нашего института за кажется 10 долларов слайд (могу ошибиться)... вот пример, сканировался на 20х, максимально возможно на 40х, так же можно IF
http://ebcdih.mc.vanderbilt.edu/dih/web ... 0037990914" onclick="window.open(this.href);return false;

WOW! в яблочко! Спасибо!

Сейчас у меня на это уже нет явно средств, но не могли бы Вы познакомить меня с заведующим всей этой “хреновиной“. Я бы с удовольствием поболтал, а заодно сделал бы copy&paste конфигурации и незамедлительно перешел бы к этапу выпрашивания на нея народных денег.

Не требуя никакого софта это для друзей-патологов у которых глаз-алмаз. Нам нужен софт для математического анализа, а не для погляда по типу google maps

послал сообщение в личку

[Leonid_V]

Как в воду глядел.
Новая программа во-первых:
Operative System: Windows 7, 64 bit

а во вторых:
Our software is multi-threaded and there are no limit to the number of parallel processing queues that can be started for image processing/analysis. The limit here really depends on your needs in terms of simultaneous image processing.

это как понимать? Она вообще никаких пределов не имеет? хоть 40 процессоров засовывай? Ну по RAM-то должны же быть ограничения? Или тоже беспредел?

[oshibka_residenta]

Как в воду глядел.
Новая программа во-первых:
Operative System: Windows 7, 64 bit

а во вторых:
Our software is multi-threaded and there are no limit to the number of parallel processing queues that can be started for image processing/analysis. The limit here really depends on your needs in terms of simultaneous image processing.

это как понимать? Она вообще никаких пределов не имеет? хоть 40 процессоров засовывай? Ну по RAM-то должны же быть ограничения? Или тоже беспредел?

Заметьте, они говорят про параллельную обработку многих изображений, а не про скорость обработки конкретного изображения.

Предел параллельности всегда есть. Т.е. засунуть можно и 40 процессоров, но только с какого-то их числа увеличиния быстродействия вы не получите. Опять же число core более важно чем число процессоров в вашем случае (обработка изображений )
Тоже самое с RAM: предел параллельности всегда есть и, если используется 20 GB RAM, увеличение RAM go 1TB ничего не даст.

[flip_flop]

Как в воду глядел.

а во вторых:
Our software is multi-threaded and there are no limit to the number of parallel processing queues that can be started for image processing/analysis. The limit here really depends on your needs in terms of simultaneous image processing.

это как понимать? Она вообще никаких пределов не имеет? хоть 40 процессоров засовывай? Ну по RAM-то должны же быть ограничения? Или тоже беспредел?

Как и любая обычная программа с поддержкой многопоточности, программа готова использовать все имеющиеся ядра/потоки. Насколько это будет еффективно - другой вопрос. Есть область насыщения.

По RAM есть ограничения снизу, возможно те же 16 GB. Сверху предел определяется количеством одновременно обрабатывающихся изображений (The limit here really depends on your needs in terms of simultaneous image processing). Например, если одна картинка требует 16 GB (реально будет меньше), то пол-террабайта RAM будет достаточно для 32-х картинок. Желательно при этом иметь не менее 32-х потоков (16 ядер). У меня как раз такой самодельный сервер и стоит, 2х8 ядер, 512 GB RAM.

Если же только одна картинка, то ... "наша пiсня гарна, нова, починаймо її знова"

P.S. Что за фигня, bold не работает? " одновременно" , после слова стоит [slashb] а вот не работает.

[flip_flop]

Кстати, небольшой оффтопик. Я тут намедни просмотрел вебкаст о High Performance Computing (HPC) в медицине - "HPC as our next medicine", очень интересно. Так же как и на предыдущих конференциях делается вывод о плачевности применения компьютерного моделирования в большой фармацевтике (по сравнению с физикой и инженерными дисциплинами) и для оперативного мониторинга пациента, с моделированием и предсказанием динамики медицинского состояния. В последнем случае, желателен сервер с примерно несколькими терафлопсами при кровати пациента и связью с суперкомпьютером в машинном зале госпиталя. Реально могло бы спасать больше жизней. Комментарии?

[Leonid_V]

Заметьте, они говорят про параллельную обработку многих изображений, а не про скорость обработки конкретного изображения.

Там такая заковыка.
Изображение, а у меня могут случиться в крайнем случае вплоть до 200GB на картинку, обрабатывается маленькими кусочками, типа “по квадратам“. Каждый “квадрат“ наверное может быть рассмотрен, как независимое изображение.
Но это мои догадки. На самом деле вопрос требует уточнения.

с какого-то их числа увеличиния быстродействия вы не получите
Опять же число core более важно чем число процессоров в вашем случае (обработка изображений )

если у Вас будет время и желание удовлетворить моё любопытство (наверное праздное, потому как в реальности всё тупо ограничит бюджет, потому как нет у меня денег на 16-ядерные процессоры) буду благодарен за ссылку или краткое разъяснение для полного чайника.

если используется 20 GB RAM, увеличение RAM go 1TB ничего не даст.

Да вот и мне так казалось, что с безграничностью он слегка загнул.
Ладно, разберемся.

Просто не хочется переплачивать за 10-ядерный, если программа лезет только в 6, например (наверное такого не бывает, раз уж программа многопоточность умеет использовать, то и в 10 наверняка залезет)
И памятью оперативной аналогично.

[Leonid_V]

Реально могло бы спасать больше жизней. Комментарии?

Комментарий только один.
Вы так долго работаете с компьютерами, что забываете, что люди они человеки и Homo sum, humani nihil a me alienum puto (а вот это я уже забыл, пришлось лезть в словарь ... виноват)

Вот смотрите. Мы на девятой странице. Человек с медицинским образованием, но с неплохими (уж извините) познаниями в области компьютеров ... да-да, не смейтесь. Аз грешный когда-то, лет этак 20 тому, даже написал супер-макро для обработки результатов ELISA. А относительно недавно (лет 10 тому) сам, как большой создал web сайт для лаборатории. Аж под php !!!!!!
Всячески тянусь к посильной компьютеризации и вообще работаю в исследовательской лаборатории. R&D по вашему.

И вот при всех этих входных, да при моей материальной заинтересованности, вы в десятером, примерно, пытаетесь мне объяснить совершенно элементарные вещи. И воз по-прежнему почти там же где и был.

А теперь представьте, что моей заинтересованности нет, а вы пытаетесь мне что-то втолковать про терафлопы у постели больного ... А! для полноты картины представьте, что я чистый клиницист. Вы представляете в каких выражениях (вежливых на поверхности) и как далеко Вы будете переадресованы.

Или обратная ситуация. Вашей заинтересованности нет, а к Вам приходит клиницист и начинает блеять нечто про то как хорошо бы ... и чтоб оно еще ... и всё сразу подсчиталось.
Вы представляете в каких выражениях Вы будете ему выказывать своё фе, демонстрируя на какой наинижайшей ступени знаний он находится по сравнению с Вами.

Это конечно гиперболы всё, но реально нам с вами тяжело и оно взаимно. Люди есть люди.
Несмотря на это всё идет вперед, но потихоньку.

[Vladimir1440]

P.S. Что за фигня, bold не работает? " одновременно" , после слова стоит [slashb] а вот не работает.

test

да, не работает. Форум падал недавно.

Так работает:

тест

[StrangerR]

Как в воду глядел.
Новая программа во-первых:
Operative System: Windows 7, 64 bit

а во вторых:
Our software is multi-threaded and there are no limit to the number of parallel processing queues that can be started for image processing/analysis. The limit here really depends on your needs in terms of simultaneous image processing.

это как понимать? Она вообще никаких пределов не имеет? хоть 40 процессоров засовывай? Ну по RAM-то должны же быть ограничения? Или тоже беспредел?

Если она для Win7 то скорее всего будет работать и на Server 2008R2 (это и есть Win7 только сервер) ну и выше (если она работает на Win8 то будет работать и на Server2012).

А с тредами - она паралелится, сколько нашла коров столько тредов и запустит чтобы все загрузить. Только неочевидно, что там паралелится - обработка одного изображения или обработка многих.

На самом деле не выпендривайтесь. Поставьте сервер с 2 socket x 6 core (более менее современный) и RAID-6 с дисками если объемы большие.

Есть конечно еще вариант тот что предложили - пусть лаборатории себе сами все покупают а вы только бэкапы обеспеичиваете. Но тоггда бэкап система будет очень неслабых размеров.

[Leonid_V]

Если она для Win7 то скорее всего будет работать и на Server 2008R2 (это и есть Win7 только сервер) ну и выше (если она работает на Win8 то будет работать и на Server2012).

уже писал выше про трудности общения между двумя мірами. Видите, я настолько не владею вопросом (но должен разобраться, потому что покупать мне, и ответственность на мне), что никак не могу объяснить, что серверное железо и серверное решение как таковое, в настоящем случае это то, от чего я пытаюсь отвертеться по финансовым соображениям.
Т.е. после подтверждения того, что новая версия ... вернее, наверное, даже новое поколение программы работает и на Win7, рабочая станция высокого качества покроет мои надобности, потому как при прочих равных, с учетом всего того, что вы все, спасибо большое, мне объяснили, рабстанция обойдется чуть дешевле при перерасчете на аналогичную производительность (скорость процессора, т.е. анализа данных). Чуть дешевле из-за потери таких необходимых серверу свойств, как диски “горячей замены“ которые мне сейчас не нужны. Ну не будет у меня необходимости восстанавливать производственный процесс в кратчайшие сроки типа 2 минуты. Оно и два дня подождет, мір не рухнет.

Только неочевидно, что там паралелится - обработка одного изображения или обработка многих.

да, вот именно этот вопрос и задал.
Но в принципе мне нужно будет и то и то. Т.е. обработка серии картинок тоже будет производиться.

Есть конечно еще вариант тот что предложили - пусть лаборатории себе сами все покупают а вы только бэкапы обеспеичиваете. Но тоггда бэкап система будет очень неслабых размеров.

Я вложу по максимуму в диски. Но в конфигурации бэкап.

Остально пусть докупает каждый пользователь если ему надо. Переносные диски на пару терабайт не так уж дороги (по меркам бюджета научной лаборатории)

Спасибо за советы. Мне очень помогает.