Вопрос по Big Data

[Dmitry67]

Подскажите, как хранить 157,5 эксабайт?

http://www.rbc.ru/newspaper/2016/05/17/ ... 8eecf3214e" onclick="window.open(this.href);return false;

Нет, серьезно, допустим такая задача стоит и денег мы не считаем
Какие есть решения?
Какие файловые системы осилят?

[Flash-04]

Гугел: 1 миллион серверов * 100Tb (от балды)= 100 Eb, как раз то что нужно

[Dmitry67]

Вряд ли в среднем больше 1тб

[null]

storage memory breakthrough

[sp123]

storage memory breakthrough

Linky no worky

[null]

Linky no worky

починил

[flip_flop]

Вряд ли в среднем больше 1тб

Тю, у меня уже несколько лет в десктопе стоит очень быстрый PCIe SSD 2 TB на обычной flash памяти, сейчас его обновление имеет 4 ТБ. Samsung выпустил 16 ТБ в формате 2.5-inch. Всего лишь шесть таких карточек на сервере и 100 ТБ на сервер, как советовал Flash-04, уже набрано. Всего лишь миллион таких серверов, и дело в кармане. С развитием 3D электроники и экзотических технологий (типа упомянутых PCM) можно ожидать и больших объёмов памяти на карточку. Правда и проблемы растут снежным комом (надёжность, например), но это нормально. Придётся менять File System (e.g. XFS vs Ext4) и дорабатывать распределённые файловые системы наверное, но это мелочи

[Dmitry67]

Понятно. Значит Яровая просто визионер

[flip_flop]

Не, ну на сегодня эадача неисполнимая. Например, всего лишь одна известная мне распределённая файловая система (Lustre) теоретически поддерживает "всего лишь" 16 EB. Потом, можно посчитать стоимость , "чую с гибельным восторгом". И так далее. Но в будущем, может быть и недалёком, да, возможно, я надеюсь.

[Flash-04]

миллион серверов я взял не с потолка, у Goole вроде как всего 900,000 серверов по всему миру. Но речь то не о том, а о том что заботливые власти начали прикидывать что надо бы все разговоры граждан складывать для анализа.

[flip_flop]

Samsung предсказывает, что к 2020 году продукция всех NAND Flash будет примерно 235 EB в год. Страшно подумать, но на огромную заботу отдельных властей должно уйти больше половины этого ресурса

[Мальчик-Одуванчик]

А что, типа на ленту нельзя скидывать? Fujitsu анонсировала 154Тв на картридже.

[iDesperado]

Подскажите, как хранить 157,5 эксабайт?

http://www.rbc.ru/newspaper/2016/05/17/ ... 8eecf3214e" onclick="window.open(this.href);return false;

Нет, серьезно, допустим такая задача стоит и денег мы не считаем
Какие есть решения?
Какие файловые системы осилят?

а какие проблемы ? никто же не просит обрабатывать эту дребидень. упаковал avro файлики на ленты и храни. органы запросили за какой-то период - перекинул на hdfs для посмотреть.

[perasperaadastra]

Понятно. Значит Яровая просто визионер

Это не она "бешеный принтер"?

[blanko27]

Надо НДС (VAT/GST/и т.п.) такой ввести - купил новый хард драйв - 10% отдай под хранение гос. информации.

[java.io]

Надо НДС (VAT/GST/и т.п.) такой ввести - купил новый хард драйв - 10% отдай под хранение гос. информации.

+1

[Сабина]

Подскажите, как хранить 157,5 эксабайт?

http://www.rbc.ru/newspaper/2016/05/17/ ... 8eecf3214e" onclick="window.open(this.href);return false;

Нет, серьезно, допустим такая задача стоит и денег мы не считаем
Какие есть решения?
Какие файловые системы осилят?

http://searchtelecom.techtarget.com/new ... ce-service" onclick="window.open(this.href);return false;

Storing and maintaining petabytes and exabytes of unstructured, "big data" is no simple undertaking for enterprises, ....

[Сабина]

Если вы "стинки антарпрайз" - https://blogs.saphana.com/2014/09/09/the-sap-hana-faq/" onclick="window.open(this.href);return false;

[flip_flop]

Подскажите, как хранить 157,5 эксабайт?

http://www.rbc.ru/newspaper/2016/05/17/ ... 8eecf3214e" onclick="window.open(this.href);return false;

Нет, серьезно, допустим такая задача стоит и денег мы не считаем
Какие есть решения?
Какие файловые системы осилят?

http://searchtelecom.techtarget.com/new ... ce-service" onclick="window.open(this.href);return false;

Storing and maintaining petabytes and exabytes of unstructured, "big data" is no simple undertaking for enterprises, ....

Redshift cluster -- ... scaling to a petabyte ...

Один петабайт, когда надо сотни экзабайт - это несерьезно.

Тем более, договорились уже на ленте всё держать. Вот решение от Оракла- как раз в масштабе экзабайт.

[DropAndDrag]

немного оффтоп
вчера топал по коридору и наткнулся на стойки, вывозимые с компьютерного центра. пригляделся в каждом шасси по 15 или 18 дисков по ... 72 GB это аж целых 1Т в шасси.
щас пяток дисков заменяют целую стойку.

[fruit6]

хороший закон. депутат хочет обеспечить себе безбедную старость за один присест.

[Flash-04]

в присесте не слипнется?

[fruit6]

после откатов ей останется только на железнодорожный состав черной икры, согласитесь, не так много как могло показаться на первый взгляд

[Мальчик-Одуванчик]

после откатов ей останется только на железнодорожный состав черной икры, согласитесь, не так много как могло показаться на первый взгляд

А где там откаты лично для неё просматриваются? Проект закона предполагает нести нагрузку операторам связи.
По идее за откаты будут биться те депутаты, которые торпедируют инициативу на уровне проекта.

[Мальчик-Одуванчик]

Тем более, договорились уже на ленте всё держать. Вот решение от Оракла- как раз в масштабе экзабайт.

Некрасивое решение. Эстетичнее когда робот будет подвозить стойки с лентами к считывающему устройству. В этом случае емкость хранения ограничена лишь размерами хранилища.