Storage: две непримиримые школы

[Dmitry67]

Последовательное чтение в вакууме? Да, Вы можете наверное написать какой то тест, хитро синхронизировать его с диском. А в реальности... Взять хотя бы фрагментацию файлов: оно приводит к split длинного чтения в более мелкие. А еще возможны прыжки головки на резервные дорожки.

В любом случае вы всегда попадаете на latency min 4ms, за которое многие SSD уже сделают 1000 iops

[zVlad]

Последовательное чтение в вакууме? Да, Вы можете наверное написать какой то тест, хитро синхронизировать его с диском. А в реальности... Взять хотя бы фрагментацию файлов: оно приводит к split длинного чтения в более мелкие. А еще возможны прыжки головки на резервные дорожки.

В любом случае вы всегда попадаете на latency min 4ms, за которое многие SSD уже сделают 1000 iops

Разве мы не можем взять пустой диск и записать на него один файл? Тогда фрагментация не так уж и повлияет. Ну и диск можно взять без дефектов.
Я понимаю конечно что файловые системы не МФ принципиально блочные и все равно могут читать только по одному блоку за раз, но это одинаково и для HDD, и SSD.

[Dmitry67]

Вот например тут

http://www.tomshardware.com/charts/ente ... ,3373.html
Я вижу скорости у Enterprise HDD в районе max 200MB/s

А SSD:
http://en.wikipedia.org/wiki/Solid-state_drive
At CES 2012, OCZ Technology demonstrated the R4 CloudServ PCIe SSDs capable of reaching transfer speeds of 6.5 GB/s and 1.4 million IOPS.[200] Also announced was the Z-Drive R5 which is available in capacities up to 12 TB, capable of reaching transfer speeds of 7.2 GB/s and 2.52 million IOPS using the PCI Express x16 Gen 3.0

То есть 7.2GB/s vs 0.2MB/s на топовых

[Dmitry67]

Кстати мейнфреймов SSD револючия тоже касается
Один топовый SSD сделает столько IOPS и GB/s, что порвет мейнфрейм с сотнями его хваленых каналов как тузик грелку

[zVlad]

Кстати мейнфреймов SSD револючия тоже касается
Один топовый SSD сделает столько IOPS и GB/s, что порвет мейнфрейм с сотнями его хваленых каналов как тузик грелку

SSD на МФ уже есть. Но не как массовое хранилище данных.
Кстати каналы SSD не отменяет, так же как и контроллер с шиной в случае не-МФ.

[Dmitry67]

Влад, а в МФ есть аналог разделения на network shared storage & local storage?

[zVlad]

....
Один топовый SSD сделает столько IOPS и GB/s, что порвет мейнфрейм с сотнями его хваленых каналов как тузик грелку

Какая то совершенно безграмотная фраза. SSD это диски, внешняя память, МФ и их каналы это центральные устройства как может одно порвать другое совершенно не понятно.
FICON Express8 работает на 8Gbps, так им образом достаточно восьми таких каналов (и еще останется) чтобы систему упомянутую Вами выше заставить работать на полную мощь. Всего восемь а не сотни.
Более того чтобы имело смысл использовать такие шустрые диски нужно чтобы и центральные устройства были тоже расторопными. Прикиньте Дима какой должен быть сервер на Интел чтобы диски с 7.2 GBps 2.52 МIOps заставить работать на полную мощность.

[Dmitry67]

Вот в том то и забавность современной ситуации. У нас 10Gbps, что дает max 1GBps. Это супер пупер storage. А не самый топовый local SSD легко дает в три раза больше. При цене на ПОРЯДКИ меньше

[Dmitry67]

Да, говорят производительность памяти около 30 GBps, то есть четыре диска могут полностью забить память NUMA node, безотносительно к тому что Интел или не интел

[zVlad]

Чем дальше тем бОльшие глупости Вы говорите, Дима.

[Dmitry67]

на редкость содержательно

Помнится, Вы как то сетовали, что начальство не прислушивается к вашим советам. Интересно, Ваша аргументация тогда была такой же?

[zVlad]

Влад, а в МФ есть аналог разделения на network shared storage & local storage?

У МФ нет ни того ни другого. Я Вам уже это много раз обьяснял.
И ведь слово то "канал" Вы знаете, буквально вчера говорили о "сотнях каналов".

[zVlad]

на редкость содержательно

Помнится, Вы как то сетовали, что начальство не прислушивается к вашим советам. Интересно, Ваша аргументация тогда была такой же?

У меня Дима есть разные методы аргументации для разных обстоятельств и людей. Главное для разных людей. Если я вижу собеседник что не хочет даже вникать в то что ему говорят (а в Вашем случае даже вникать в то что человек сам говорит), то методы мои деградируют до площадной брани. А Вы думаете бывает иначе?

[Dmitry67]

У меня Дима есть разные методы аргументации для разных обстоятельств и людей. Главное для разных людей. Если я вижу собеседник что не хочет даже вникать в то что ему говорят (а в Вашем случае даже вникать в то что человек сам говорит), то методы мои деградируют до площадной брани. А Вы думаете бывает иначе?

Конечно бывает
Представляете, есть люди (например я), которые не деградируют до площадной брани никогда!

[zVlad]

У меня Дима есть разные методы аргументации для разных обстоятельств и людей. Главное для разных людей. Если я вижу собеседник что не хочет даже вникать в то что ему говорят (а в Вашем случае даже вникать в то что человек сам говорит), то методы мои деградируют до площадной брани. А Вы думаете бывает иначе?

Конечно бывает
Представляете, есть люди (например я), которые не деградируют до площадной брани никогда!

Это была метафора.

Дима, Вы взяли один параметр одного из компонентов того что называется компьютер и делаете такие далекие заключения и выводы, что это само по себе выглядит не убедительно. Достоинства SSD очевидны, но и недостатки тоже есть и тоже очевидны, но вазнее всего то что реальным приложениям не так уж и необходимы достоиства SSD, а недостаткам HDD давно придуманы компернсаторные механизмы, как то кэши на стороне HDD и чтение данных с опережением, а также сохранение данных в памяти CPU (буферные пулы у DB2, кэши у остальных).
Таким образом во многих практических ситуациях данные берутся либо из памяти CPU, либоо из кэшей дисков, что в первом случае превосходит SSD, а во втором равно трансфер рате SSD. Неужели такие элементарные вещи нужно Вам, Дима, обьяснять.

Можно еще много сказать о SSD и HDD. Например, что многие хранят бэкапы на дисках и другую редкоиспользуемую, однажды записываемую (а по записи у SSD есть проблемы) и никогда не читаемую инфу, и т.п.. Вероятней всего будущее за SSD, но во-первых их время еще не настало и HDD менять на SSD еще долго не будут, во-вторых никой революции SSD не производят - обычное внешнее устройство хранения данных.

Подумайте лучше, Дима, о том что 64-bit адресация позволяет сохранить в памяти CPU столько данных сколько их нет еще ни в одном приложении, но фактически инсталлируемая память CPU гораздо меньше чем эти возможности. У MF, например, всего 3 TB (я знаю что есть сервера с бOльшими максимумами, но они все таки тоже бесконечно далеки от потенции 64-bit адрессации).

[Dmitry67]

Я не делаю никаких заключений. Я говорю о наличие двух лагерей, двух школ. И о PROs и CONs написал в первом же посте.
Что касается компенсаторных механизмов типа кешей, то HDD + cache все равно приограет SSD + cache
Впрочем, SQL server позволяет делать двухуровневый кэш: HDD - SSD - memory. Например, 100Tb база на HDD, 1Tb SSD cache, 100Gb mem cache.

Но пост был совсем не об этом. Грубо говоря, была машина Ferrari. И тут китайцы выпускают Kerrari. И вроде ясно что лоска нет, но стоит она $1000, и что еще более странно, делает Ferrari по мощности и экономичности в 10 раз. Да, дешевка. Да, куча недостатков. Но дешевизна и эти "десятки и сотни раз" реально сносят крышу и просто просят решений "outside of the box" (не путать с выходом из шкафа)

[zVlad]

...
Что касается компенсаторных механизмов типа кешей, то HDD + cache все равно приограет SSD + cache
...

А вот это с чего бы вдруг? В чем разница между этими двумя если данные в кэше?
И еще, чтобы не вставать дважды (сказано было недавно не мной), зачем "козе гармонь", а хотел сказать зачем SSD кеш, если она и есть тот самый кэш по своей природе, ну или почти тот самый кэш?

[zVlad]

Я не делаю никаких заключений. Я говорю о наличие двух лагерей, двух школ. ...

Школы эти Ваши не совсем правильно описаны. Их не две на самом деле. Вы, с одной стороны, противопоставляете SSD и HDD, а с другой локальные диски и внешние. Тут на самом деле четыре комбинации возможны. Их надо тогда все выписать и разговаривать о всех вместе.

[Dmitry67]

...
Что касается компенсаторных механизмов типа кешей, то HDD + cache все равно приограет SSD + cache
...

А вот это с чего бы вдруг? В чем разница между этими двумя если данные в кэше?
И еще, чтобы не вставать дважды (сказано было недавно не мной), зачем "козе гармонь", а хотел сказать зачем SSD кеш, если она и есть тот самый кэш по своей природе, ну или почти тот самый кэш?

Так в реальности то не все данные в кеше
А SSD cache используется потому что скорость SSD куда больше чем HDD, но куда меньше чем памяти.

[zVlad]

...Так в реальности то не все данные в кеше
А SSD cache используется потому что скорость SSD куда больше чем HDD, но куда меньше чем памяти.

В реальности не все данные и нужны в каждый момент времени. Умение ждать не самое плохое качество, если пофилософствовать.

А есть еще и скорость онтерфейса которым диск подключен к памяти CPU. Вы писали о 7.2 GBps, а я не нашел такого интерфейса который бы имел такую же, а лучше бОльшую скорость передачи данных. Я видел только 6 Gbps на не-МФ и знаю что есть 8 Gbps на МФ. Как Вы будете подключать диски с 7.2 GBps к Вашему Интел серверу?

[Dmitry67]

Через PCI-E например
http://www.tomsitpro.com/articles/faste ... 2-821.html

знаю что есть 8 Gbps на МФ

то есть всего где то 0.8GBps?

[zVlad]

Через PCI-E например
http://www.tomsitpro.com/articles/faste ... 2-821.html

знаю что есть 8 Gbps на МФ

то есть всего где то 0.8GBps?

Дима, Вы говорим о разных вещах и сравниваете их. Вы все время сползаете к теме локальных устройств. Это значит что такие устройства не могут использоваться больше чем одним сервером. Таким образом Вы уходите в мир shared-nothing со всеми вытекающими последствиями.

8 Gbps - это трансфер рате лишь одного канала, которых, как Вы сказали выше, может быть сотни. Следовательно, 32 GBps будет достигнуто на 40-ка каналах и при этом диски могут быть доступны многим серверам одновременно. Более того одни и те же файловые системы могут доступны без каких-либо NFS-ов, или SMB. Это я про МФ как Вы поняли.

[Dmitry67]

1
Дима, Вы говорим о разных вещах и сравниваете их. Вы все время сползаете к теме локальных устройств. Это значит что такие устройства не могут использоваться больше чем одним сервером. Таким образом Вы уходите в мир shared-nothing со всеми вытекающими последствиями.

2
8 Gbps - это трансфер рате лишь одного канала, которых, как Вы сказали выше, может быть сотни. Следовательно, 32 GBps будет достигнуто на 40-ка каналах и при этом диски могут быть доступны многим серверам одновременно. Более того одни и те же файловые системы могут доступны без каких-либо NFS-ов, или SMB. Это я про МФ как Вы поняли.

1 Совершенно верно, это тема данного топика, если вы не заметили
2 Снова верно, но - сравним стоимость решений! И если shared nothing дает такой выигрыш по производительности при цене в десятки раз ниже то это может спровоцировать "think out of the box" и перейти на новые нетривиальные решения

[zVlad]

...2 Снова верно, но - сравним стоимость решений! И если shared nothing дает такой выигрыш по производительности при цене в десятки раз ниже то это может спровоцировать "think out of the box" и перейти на новые нетривиальные решения

Дима, я сейчас работаю на проекте цена которому - $75 000 000 (согласно слухам, правда, но это не далеко от истины). И смысл этого проекта перевести ~ 3000 пользователей и данные с одной платформы на другую (в данном случае на МФ). Любые затраты на железо и инфраструктуру выглядят орехами по сравнению с этими суммами. Сумма указанная выше содержит доли процента на собственно МФ - это в основном работа нашего (одного) DB2 DBA.
У нас есть много чего еще что можно было бы перенести на МФ и сократить железо и людей без дополнительных затрат на МФ, но разве кто-нибудь мне позволит это сдеалть?

[iDesperado]

Дима, Вы говорим о разных вещах и сравниваете их. Вы все время сползаете к теме локальных устройств. Это значит что такие устройства не могут использоваться больше чем одним сервером. Таким образом Вы уходите в мир shared-nothing со всеми вытекающими последствиями.

ну да, мир гуглов и биг даты, полная противоположность централизованному МФ. про последствия я один не понял ?