Есть ли тут знатоки больших disk arrays ?

Dmitry67 · Post by **Dmitry67** » 01 Jul 2004 14:38

типа SAN EMC или чтото подобное
Если да то напишите
Я вопрос задам
Почти год назад задавал но никого тогда не было

PavelM · Post by **PavelM** » 01 Jul 2004 15:34

Вы об этом?
http://forum.privet.com/viewtopic.php?t ... ght=arrays

Dmitry67 · Post by **Dmitry67** » 01 Jul 2004 16:26

Не совсем
С репликацией в обще разобрался, работате она корректно
Но полный отстой по пересылаемому объему данных кстати, с SQL trans logging и не сравнить

Но сейчас о другом
Был мужик из Microsoft. Он естественно написал: что же вы держите данные и log на одном девайсе
Ну так я знаю, тыщу раз говорил
Это как бы аксиома баз данных: данные и log на разных дисках

Но дело в том что во первых к EMC один канал хотя и очень быстрый
Во вторых люди с той стороны утверждают что дескать EMC такой умный что ничего плохого в том что все на одном усройстве нет

Вот и вопрос, устарела ли основная аксиома баз данных

PavelM · Post by **PavelM** » 01 Jul 2004 19:20

А речь идет о классической SAN, т.е. устройства хранения данных подключеные через оптоволоконную сеть, например Clariion или Symmetrix?

VovaK98 · Post by **VovaK98** » 01 Jul 2004 20:27

Dmitry67 wrote:Не совсем
С репликацией в обще разобрался, работате она корректно
Но полный отстой по пересылаемому объему данных кстати, с SQL trans logging и не сравнить

Но сейчас о другом
Был мужик из Microsoft. Он естественно написал: что же вы держите данные и log на одном девайсе
Ну так я знаю, тыщу раз говорил
Это как бы аксиома баз данных: данные и log на разных дисках

Но дело в том что во первых к EMC один канал хотя и очень быстрый
Во вторых люди с той стороны утверждают что дескать EMC такой умный что ничего плохого в том что все на одном усройстве нет

Вот и вопрос, устарела ли основная аксиома баз данных

приветствую.

Так суть той аксиомы вроде не только в том, что надежность лучше с разными драйвами, но и в том, что доступ к log в основном последовательный, а к базе random access. Что в сочетании с правильным размером кластера вроде как должно крепко повышать производительность.
В случае SAN (или NAS, на чем у меня кстати Domino сервер работает) всё равно все или почти все сидит в кеше. Так что на производительность это не должно сильно влиять.
Ну, можно попробовать разнести Log и базу данных по разным drive-shelves, если это успокоит MS гая.

Кстати, Fibre channel по-моему, никакого отношения к оптоволоконной сети не имеет, кроме названия. Это вообще отдельный контроллер. Поправьте, если не прав.

успехов.

Иван Муравьев · Post by **Иван Муравьев** » 01 Jul 2004 20:59

Угу, SCSI over fiber и Ethernet over fiber - это два разных чело... то есть, протокола, и карточки для них будут разные.
И, прав предыдущий оратор, для правильно настроенной EMCи или другого SAN не очень важно, что именно где лежит, ибо по большей части берется из кэша. Другое дело, что cache pools можно настраивать, и диски по-всячески разбивать, но это уже битва за проценты. Гораздо бОльший выигрыш может получиться, скажем, от распараллеливания ввода-вывода как снаружи (несколько FO-подключений), так и изнутри (подключение дисковых массивов параллельно, а не последовательно, как они (в старых EMCях по умолчанию) стояли.
Извините, если сказал банальность.

PavelM · Post by **PavelM** » 01 Jul 2004 21:16

VovaK98 wrote:Кстати, Fibre channel по-моему, никакого отношения к оптоволоконной сети не имеет, кроме названия. Это вообще отдельный контроллер. Поправьте, если не прав.

Не правы, поправляю ...
FC - это серия стандартов передачи данных по волоконным и пр.сетям. Есть 4 уровня стандартов/протоколов отдаленно смахивающих на первые 4 уровня сетевой модели ISO. Кроме адаптеров бывают коммутаторы, хабы, раутеры, репитеры и пр. сетевое оборудование.
http://hsi.web.cern.ch/HSI/fcs/spec/overview.htm

Угу, SCSI over fiber и Ethernet over fiber - это два разных чело... то есть, протокола, и карточки для них будут разные.

Об этом никто вроде и не спорил. Кстати если уж речь зашла об этом, то FC поддерживает не только SCSI но и кучу всего другого, например FDDI.

Dmitry67 · Post by **Dmitry67** » 01 Jul 2004 22:03

Я понял почему мне все это не нравится
Это унижает профессию DBA
Дизайн filegroups, долгие рассуждания о том как они будут расти, как место всем поделить
А тут всякие приходят и говорят что пихай все на одну букву и не думай
Обидно, господа

idle0 · Post by **idle0** » 01 Jul 2004 22:18

На самом деле может быть и так, и этак.

а) как вы получаете диски от Symmetrix? как один большой metadevice или как много маленьких LUN?

б) можете ли вы посмотреть на статистику обрашений к диску? В UNIX это делается через iostat

в) используется ли у вас в Symmetrix Optimizer (http://www.emc.com/products/storage_man ... imizer.jsp), он ишет hot-spots и распределят нагрузку по разным дискам on-line

PavelM · Post by **PavelM** » 02 Jul 2004 00:54

Dmitry67 wrote:Вот и вопрос, устарела ли основная аксиома баз данных

В документации к Clariion для MS SQL рекомендуют следовать старой заповеди - рэйд1 для логов, рэйд5 или рэйд0+1. Однако это все в теории. Можно даже для верности посадить логи на отдельный контроллер. Насколько большой выигрыш получится и стоит ли он потраченных денег на диски, адаптеры и пр. - очень сильно зависит от конкретной конфигурации. Один и тот же рэйд5 на 3 дисках прибавит очень сильно в производительности если дисков будет 8 и убавит если 14.
Несколько цифр:
Кэш у нынешних кларионов - 4Гбайт
Скорость чтения/записи в кэш = скорости FC-адаптера=250Мбайт/сек на волокне
Скорость чтения с диска в кэш - порядка 60Мбайт/сек

Dmitry67 · Post by **Dmitry67** » 02 Jul 2004 09:16

Спасибо
У нас Symmetrix
ПРо Optimizer узнаю (все усложняется тем то все это хозяйство не у нас а у провайдера и соотв его обслуживают другие люди)

Dmitry67 · Post by **Dmitry67** » 02 Jul 2004 09:23

Кстати, просто офтоп
А почему не создать raid на flash memory ?
Ставим например 8096 * 1G флешей
Каждую страницу пишем одновременно во все
Скорость будет просто улет
Но дорого правда

PavelM · Post by **PavelM** » 02 Jul 2004 15:21

дык ИБМ вроде еще 4 года назад анонсировала твердотельные диски, поищите на "solid state drive"

tengiz · Post by **tengiz** » 02 Jul 2004 18:12

Dmitry67 wrote:А почему не создать raid на flash memory?

Насыщение шин основной памяти и ввода/вывода наступит намного раньше, чем мы приблизимся к доле потенциальной пропускной способности параллельной записи на тысячи флешей. Даже на самых больших NUMA системах с дюжинами шин памяти и ввода/вывода.

idle0 · Post by **idle0** » 02 Jul 2004 18:21

PavelM wrote:дык ИБМ вроде еще 4 года назад анонсировала твердотельные диски, поищите на "solid state drive"

http://www.emc.com/about/emc_story/brief_history.jsp

In 1987 the company introduced solid state disk (SSD) storage systems for the mini-computer market. Consisting of controllers, which emulated storage directors, and memory cards, which functioned like rotational disk drives, solid state devices offered 20 times the performance of magnetic disk drives