А что народ думает про RAW partitions?

[Dmitry67]

Базы, в том числе SQL, умеют работать с RAW partitions. У этого решения есть много минусов, и я его не использовал, справедливо полагая что overhead на проход стека файловой системы ничтожен по сравнению с механикой диска. Тем более что SQL работает с файлами с флагами no-cache, write-thru.

Но последнее время появились SSD диски которые когда стоят локально могут делать >100K сферических IOPS в вакууме. При таких скоростях сто старушек рубль. Тем более что при тестировании с высокоскоростным storage сервер утыкается в CPU, то есть скорость диска такова, что ожидания его почти нет

Никто не пробовал? Я сам хочу попробовать, но может ктото уже пробовал
Второй вопрос, как вы оцениваете overhead от файловой системы (не забывайте что SQL ходит через нее, хотя и "напролет", но по крайней мере файловая система должна транслировать смещения в файле, которым оперирует SQL, в адрес блока на диске)

[zVlad]

Базы, в том числе SQL, умеют работать с RAW partitions. У этого решения есть много минусов, и я его не использовал,....

Получается что плюсов у этого метода нет никаких?

[Dmitry67]

Плюс в том что быстрее
Вот насколько, непонятно

[zVlad]

Плюс в том что быстрее
Вот насколько, непонятно

И что Ваши гуру из MS ничего по этому поводу не говорят, не исследуют это?

Я недавно разбирался с HyperDispatch на MF. Это когда системы, работаыщие в разных LPAR, не размазывается по всем доступным CPU (kOram), а сосредотачиваются на разумном количестве учитывая беса LPAR и количиство физических CPU (кOров). Согласно иследованию IBM в нашей ситуации Production LPAR имеет 4-8% экономии от HyperDispatch, a Development не имеет никакой выгоды и HyperDispatch в Development лучше отключить.

[Dmitry67]

Нет, информации очень мало, гуглил, пусто

А что делает Hyperdispatch?

[zVlad]

Нет, информации очень мало, гуглил, пусто

А что делает Hyperdispatch?

Вот небольшаое исследование которое я читал чтобы понять насколько это актуально для нашей системы. В ней есть и табличка с ожидаемыми процентами эффективности:

https://www-03.ibm.com/support/techdocs ... _final.pdf

В двух словах по русски это когда система диспетчирует процессы с учетом токо что желательно использовать данные уже находящиеся в кэше CPU. Поскольку кэши могут быть разного уровня, то другими словами система диспетчирует процесс как можно ближе к тому физическому процессору где процесс выполнялся до его прерывания.

[Dmitry67]

Интересно, делает ли это Windows? Честно не знаю

[zVlad]

Интересно, делает ли это Windows? Честно не знаю

Думаю что нет. Поскольку это не чисто системная функция, там нижележащий уровень задействован. Системе известно что она не одна на серевере, что в соседних LPAR выполняюстаы другие системы и знает насколько они загружают разделяемые CPU. В случае высокой активности во всех LPAR определенные количества CPU в каждом LPAR так сказать "паркуются", т.е. не используются вообще. В такой ситуации это оказывается еффективнее чем тупо лезть на все доступные CPU.

Windows лишен такой информации и следовательно ничего сделать не может. Если кто-нибудь это чисто умозрительное утверждение опровергнет, то мы все узнаем что-то новое, или только мы с Вами, Дима, узнаем.

[Dmitry67]

Когда Windows в виртуалке, да
А конда она на физической машине то может все контролировать

[zVlad]

Что до RAW-device то Вы Дима не хуже меня знаете недостатки файловых систем на Intel и как NTFS с ними борется. Эьта его борьба во многом дублирование того что и RDMS делает по причине собственных требований. Поэтому теоритически RAW-devices должи просто минусовать некие излишние телодвижения, что само по себе хорошо. С другой стороны (я не знаю как MS SQL распоряжается RAW-devices) может оказаться что на RAW-devices MS SQL делает ровно тоже что и NTFS плюс что-то свое. Тогда выгода будет исчежающе малой.

Таким образом нужно знать точно как MS SQL работает с RAW-devices чтобы ответить на Ваш вопрос и прринять решение.

[iDesperado]

на сколько я знаю оракл считает, что RAW дает заметный прирост, потому во всех бенчмарках юзает RAW. решения на базе Oracle Exadata тоже у них везде RAW. думаю в этом смысл есть.

[zVlad]

Когда Windows в виртуалке, да
А конда она на физической машине то может все контролировать

Меня тут недавно убеждали что все сервера Интел несут VMware или какой другой hypervisor и лишь потом Windows, Linux, etc...

[Dmitry67]

Кто? Где? Цитату? Есть вполне обычные железные сервера

[zVlad]

Кто? Где? Цитату? Есть вполне обычные железные сервера

Да ладно, я не злопамятен. Я там тоже утверждал что продакшн как правило на железных серверах стоят.

[Andriy777]

Может, эксперимент поставить? За счет компании в которой идет работа, например?

[Dmitry67]

Провел эксперимент

1. Базу на RAW partitions создать нельзя Но ее можно restore

2. результат (грубо)

Heavy Io test быстрее нв 3.6%
Разница 0.086 microsecond per IO,
или очень приблизительно 200 instructions on 2.33Ghz

Так что игра не стоит свеч...

[alex_127]

Я когда-то в SQL Server прикрутил gang scheduling к parallel query. Большого эффекта я не получил (<2%) поэтому даже не чекинил...
Код изменяемой длины квантума давал гораздо больший эффект

[Dmitry67]

А можно подробнее про обе вещи?

[erix]

Базы, в том числе SQL, умеют работать с RAW partitions. У этого решения есть много минусов, и я его не использовал, справедливо полагая что overhead на проход стека файловой системы ничтожен по сравнению с механикой диска. Тем более что SQL работает с файлами с флагами no-cache, write-thru.

Вроде Enterprise SSD идет в сторону NVMe, где убирается также overhead от SAS контроллера:

http://en.wikipedia.org/wiki/NVM_Express

http://www.oracle.com/technetwork/serve ... 328157.pdf

http://www.tweaktown.com/reviews/6773/s ... index.html