s3 outage details posted

User avatar
Dmitry67
Уже с Приветом
Posts: 28283
Joined: 29 Aug 2000 09:01
Location: SPB --> Gloucester, MA, US --> SPB --> Paris

Re: s3 outage details posted

Post by Dmitry67 »

Вот видите как легко вы выходите из себя
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014
iDesperado
Уже с Приветом
Posts: 1349
Joined: 28 Nov 2008 17:50

Re: s3 outage details posted

Post by iDesperado »

кругом одни дартаньяны, куда вам серым знать какие они, студенты. какие студенты только Великий Влад знает :umnik1:

p.s. не верю, что человека с такими познаниями лекции допустят читать.
zVlad
Уже с Приветом
Posts: 15302
Joined: 30 Apr 2003 16:43

Re: s3 outage details posted

Post by zVlad »

iDesperado wrote: 19 Mar 2017 15:06 кругом одни дартаньяны, куда вам серым знать какие они, студенты. какие студенты только Великий Влад знает :umnik1:
чф
p.s. не верю, что человека с такими познаниями лекции допустят читать.
А Вы себе просто задайте вопрос: кому интересно во что Вы верите или не верите? Верущий, понимаешь, нашелся.
User avatar
Kolbasoff
Уже с Приветом
Posts: 3481
Joined: 02 Jan 2005 22:10

Re: s3 outage details posted

Post by Kolbasoff »

zVlad wrote: 19 Mar 2017 03:20Меня не интересовало сколько и где я буду зарабатывать. Меня интересовало получить знания, усвоить их и научиться применять. Да, времена меняются и нынешние студенты не те что были мы когда то, но и тогда были разные люди.
Во времена когда вы и я учились не было рынка, а было распределение на предприятия народного социалистического хозяйства и было действительно не особо важно где получать 120 рублей в месяц. Сейчас студенты прекрасно знают зачем они учатся, и в России они это знают даже больше чем в Америке и Канаде, потому что в России капитализм жестче. Вопрос "а зачем мне изучать умирающее плохо оплачиваемое ремесло" непременно возникнет у студентов и может быть задан на лекции.
zVlad wrote:В тоже время, я знаю и МФ и то достаточно хорошо то что Вы полагаете мне не известно. А я знаю и вижу где верх и где низ.
Вы знаете достаточно хорошо все что связано с эксплуатацией МФ, так как проработали 17 лет админом этого МФ. В других вопросах ИТ вы не разбираетесь, уж извините за прямоту.
zVlad
Уже с Приветом
Posts: 15302
Joined: 30 Apr 2003 16:43

Re: s3 outage details posted

Post by zVlad »

Kolbasoff wrote: 19 Mar 2017 16:24 .......
zVlad wrote:В тоже время, я знаю и МФ и то достаточно хорошо то что Вы полагаете мне не известно. А я знаю и вижу где верх и где низ.
Вы знаете достаточно хорошо все что связано с эксплуатацией МФ, так как проработали 17 лет админом этого МФ. В других вопросах ИТ вы не разбираетесь, уж извините за прямоту.
Назовите пару-тройку "других вопросов ИТ" в которых, по-вашему, я не разбираюсь.
User avatar
fruit6
Уже с Приветом
Posts: 4205
Joined: 10 Jan 2004 01:22
Location: n-sk -> MD -> VA

Re: s3 outage details posted

Post by fruit6 »

Kolbasoff wrote: 19 Mar 2017 16:24 Вы знаете достаточно хорошо все что связано с эксплуатацией МФ, так как проработали 17 лет админом этого МФ. В других вопросах ИТ вы не разбираетесь, уж извините за прямоту.
Колбассов, зачем Вам это надо? Вы же закаленный оджайлом. Вы бы стали на стоячем оджайле митинге спорить что все их скрамы и очки историй булшит?
User avatar
katit
Уже с Приветом
Posts: 23749
Joined: 05 Jul 2003 22:34
Location: Брест -> St. Louis, MO

Re: s3 outage details posted

Post by katit »

zVlad wrote: 19 Mar 2017 16:54
Kolbasoff wrote: 19 Mar 2017 16:24 .......
zVlad wrote:В тоже время, я знаю и МФ и то достаточно хорошо то что Вы полагаете мне не известно. А я знаю и вижу где верх и где низ.
Вы знаете достаточно хорошо все что связано с эксплуатацией МФ, так как проработали 17 лет админом этого МФ. В других вопросах ИТ вы не разбираетесь, уж извините за прямоту.
Назовите пару-тройку "других вопросов ИТ" в которых, по-вашему, я не разбираюсь.
Ну видимо в angular.js/node.js за которые стенкин $30 в час платит
Лучше водки — хуже нет! ©
iDesperado
Уже с Приветом
Posts: 1349
Joined: 28 Nov 2008 17:50

Re: s3 outage details posted

Post by iDesperado »

zVlad wrote: 19 Mar 2017 16:54 Назовите пару-тройку "других вопросов ИТ" в которых, по-вашему, я не разбираюсь.
Влад, ты откровенно туп в своем воинственном невежестве. просто почитай наши дискуссии
https://forum.privet.com/viewtopic.php? ... 6#p5990026

ты же процессор от ядра так и не отличаешь, какие лекции с таким невежеством ?
User avatar
Kolbasoff
Уже с Приветом
Posts: 3481
Joined: 02 Jan 2005 22:10

Re: s3 outage details posted

Post by Kolbasoff »

fruit6 wrote: 19 Mar 2017 17:07 Колбассов, зачем Вам это надо? Вы же закаленный оджайлом. Вы бы стали на стоячем оджайле митинге спорить что все их скрамы и очки историй булшит?
Все, замолкаю. Кстати, про oджайл. Вы не поверите, но уже 6 месяцев без него и без стоячих пионэрских линеек по утрам. Этот рыболовецкий сезон оказался на редкость приятным и интересным, во всех отношениях.
mskmel
Уже с Приветом
Posts: 946
Joined: 24 Sep 2013 05:58
Location: US\GA

Re: s3 outage details posted

Post by mskmel »

zVlad wrote: 19 Mar 2017 14:02Друзья, всякий раз как вы слышите о продукте написанном в WebSphere
Я одновременно слышу: "А чего он еще на JBoss или microservices не переписан?!"
WebSphere это очень недешёвый продукт при big scale.
zVlad
Уже с Приветом
Posts: 15302
Joined: 30 Apr 2003 16:43

Re: s3 outage details posted

Post by zVlad »

mskmel wrote: 20 Mar 2017 15:08
zVlad wrote: 19 Mar 2017 14:02Друзья, всякий раз как вы слышите о продукте написанном в WebSphere
Я одновременно слышу: "А чего он еще на JBoss или microservices не переписан?!"
WebSphere это очень недешёвый продукт при big scale.
Этот продукт еще есть на WebLogic.
mskmel
Уже с Приветом
Posts: 946
Joined: 24 Sep 2013 05:58
Location: US\GA

Re: s3 outage details posted

Post by mskmel »

zVlad wrote: 20 Mar 2017 23:08 Этот продукт еще есть на WebLogic.
Есть, по $45к за ядро + $10к в год за поддержку.
Меньше 10 ядрышек, и уже имеет смысл фултайм разработчика держать, который будет в поте лица трудиться - переписывать это на что-то более современное\дешевое.
You do not have the required permissions to view the files attached to this post.
StrangerR
Уже с Приветом
Posts: 37986
Joined: 14 Dec 2006 20:13
Location: USA

Re: s3 outage details posted

Post by StrangerR »

Ну я не знаю точно, что там было конкретно у Амазона, но дело в том, что даже файловые системы с лог журналами рекомендуется проверять время от времени. В Линуксе умолчание - раз в 180 дней. Не то чтобы оно было нужно, но если его не поменять, то получим примерно то, что у них вышло. Вполне может быть, что было что-то иное но такого же типа.

И даже если проверка выключена но в момент сбоя были активные записи, то иногда выполнение журнала может занять десятки минут. И я не думаю что zOS тут чем то отличается от Линуксов, разве что умолчаниями (которые нужно выключать вовремя, но откуда индусские аутсорсеры знают такие тонкости то?)

zVlad wrote: 17 Mar 2017 19:38 Странно что Амазон строит критические системы на файловой системе с указателями целость которых нужно проверять при холодном старте (после аварийного останова как я понял).
Файловая система zOS/ MVS устроена так что файлы (наборы данных) оккупируют область дисков заданного размера (может быть несколько дисков сразу) и в дальнейшем расширяются заданными кусками (extent) которые можно и отменить. Таким образом холодный старт после аварии системы лишь проверяет были ли завершены операции расширения наборов данных на диске - это проверка одного бита на диске - и если такая операция была прервана, то идет проверка extents всех наборов данных и сопоставление их с данными о свободных участках. Эта проверка позволяет починить диск гораздо быстрее чем в случае блочной файловой системы с цепочками блоков.
Примерно так и надо было поступать Амазону.
User avatar
Dmitry67
Уже с Приветом
Posts: 28283
Joined: 29 Aug 2000 09:01
Location: SPB --> Gloucester, MA, US --> SPB --> Paris

Re: s3 outage details posted

Post by Dmitry67 »

Во первых, на zOS никогда не бывает ошибок
Во вторых, все ошибки исправлются за гарантированное время
В третьих, вся куча ошибок на zOS от сраных современных программ типа java, идиотов подрядчиков и некомпетентного менеджмента, пляшущего под из дудку
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014
zVlad
Уже с Приветом
Posts: 15302
Joined: 30 Apr 2003 16:43

Re: s3 outage details posted

Post by zVlad »

StrangerR wrote: 21 Mar 2017 02:44 ..... И я не думаю что zOS тут чем то отличается от Линуксов, разве что умолчаниями (которые нужно выключать вовремя, но откуда индусские аутсорсеры знают такие тонкости то?)

zVlad wrote: 17 Mar 2017 19:38 ...
Файловая система zOS/ MVS устроена так что файлы (наборы данных) оккупируют область дисков заданного размера (может быть несколько дисков сразу) и в дальнейшем расширяются заданными кусками (extent) которые можно и отменить. Таким образом холодный старт после аварии системы лишь проверяет были ли завершены операции расширения наборов данных на диске - это проверка одного бита на диске - и если такая операция была прервана, то идет проверка extents всех наборов данных и сопоставление их с данными о свободных участках. Эта проверка позволяет починить диск гораздо быстрее чем в случае блочной файловой системы с цепочками блоков.
Примерно так и надо было поступать Амазону.
Интересная логика. Вы "не думаю что zOS тут чем то отличается от Линуксов" и при этом цитируете мое пояснение чем zOS отличается (принципиально отличается) от Линух в этом плане.
Это свойство файловой системы zOS позволяет создавать кластер с общим полем дисков доступных каждому ноду по чтению/записи. Речь идет не об NFS конечно.
User avatar
АццкоМото
Уже с Приветом
Posts: 15242
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: s3 outage details posted

Post by АццкоМото »

Dmitry67 wrote: 21 Mar 2017 07:52 Во первых, на zOS никогда не бывает ошибок
Во вторых, все ошибки исправлются за гарантированное время
В третьих, вся куча ошибок на zOS от сраных современных программ типа java, идиотов подрядчиков и некомпетентного менеджмента, пляшущего под из дудку
какая прекрасная подборка взаимоисключающих параграфов!
Мат на форуме запрещен, блдж!
StrangerR
Уже с Приветом
Posts: 37986
Joined: 14 Dec 2006 20:13
Location: USA

Re: s3 outage details posted

Post by StrangerR »

А еще на zOS сумели придумать какую то супер пупер файловую систему, в которой нет лога изменений (который нужно заапплаить при рестарте), не нужны проверки целостности хотя бы ради спокойствия ОС, и которая в 100 раз эффективнее, чем активно развивающиеся zFS, ext4, bitfs?? Марсиане, что ли, в IBM работают?

Кстати, в Линуксах очень долго жила IBM-овская файловая система как одна из опций. Особой популярностью не пользовалась. И была известна тем, что _уж если сломается то фиг починишь_, насколько я помню.
Это свойство файловой системы zOS позволяет создавать кластер с общим полем дисков доступных каждому ноду по чтению/записи.
Оооо, а еще там кластерная файловая система без проблем master node, timeout, split brain, fencing и прочего _кошмара любого сисадмина, знакомого с кластерами_. Это наверное даже не Марсиане придумали, а Тау Китяне, потому что о таком чуде я например даже не слыхал.

(Нет, есть хитрые кластерные FS вроде Vmware vfs _почти_ без таких заморочек, но они ... как бы не совсем файловые системы, операции над самими файлами там принципиально медленные потому что они нужны крайне редко, они заточены на _один узел или несколько открыли файл и висят на нем годами_).

// А так-то _кластер с общим полем дисков доступных каждому ноду_ у нас в Курчатнике был году так в 1980-м, уже. Ничего нового.
zVlad
Уже с Приветом
Posts: 15302
Joined: 30 Apr 2003 16:43

Re: s3 outage details posted

Post by zVlad »

StrangeR, Вы знаете только одну из возможных архитектур файловой системы - блочную. А есть и, по крайней мере одна, не блочная. Отсюда все Ваши заблуждения и неадекватные высказывания.
User avatar
Dmitry67
Уже с Приветом
Posts: 28283
Joined: 29 Aug 2000 09:01
Location: SPB --> Gloucester, MA, US --> SPB --> Paris

Re: s3 outage details posted

Post by Dmitry67 »

zVlad wrote: 21 Mar 2017 20:50 StrangeR, Вы знаете только одну из возможных архитектур файловой системы - блочную. А есть и, по крайней мере одна, не блочная. Отсюда все Ваши заблуждения и неадекватные высказывания.
Завтра будет интересный день
:ROFL: :ROFL: :ROFL:
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014
Easbayguy
Уже с Приветом
Posts: 10599
Joined: 17 Jul 2003 22:11

Re: s3 outage details posted

Post by Easbayguy »

Dmitry67 wrote: 21 Mar 2017 20:52
zVlad wrote: 21 Mar 2017 20:50 StrangeR, Вы знаете только одну из возможных архитектур файловой системы - блочную. А есть и, по крайней мере одна, не блочная. Отсюда все Ваши заблуждения и неадекватные высказывания.
Завтра будет интересный день
:ROFL: :ROFL: :ROFL:
Я не в теме, а что будет завтра?
Пх'нглуи мглв'нафх Ктулху Р'лайх угахнагл фхтагн
User avatar
Flash-04
Уже с Приветом
Posts: 63377
Joined: 03 Nov 2004 05:31
Location: RU -> Toronto, ON

Re: s3 outage details posted

Post by Flash-04 »

Если мы про records, то те же яйца - вид сбоку.
Not everyone believes what I believe but my beliefs do not require them to.
zVlad
Уже с Приветом
Posts: 15302
Joined: 30 Apr 2003 16:43

Re: s3 outage details posted

Post by zVlad »

Flash-04 wrote: 21 Mar 2017 21:00 Если мы про records, то те же яйца - вид сбоку.
Нет не теже и не сбоку. Если хотите содержательно поучаствовать то почитайте про архитектуру дисков CKD - Count Key Data. Я уже здесь об этом рассказывал, повторяться не буду.
User avatar
АццкоМото
Уже с Приветом
Posts: 15242
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: s3 outage details posted

Post by АццкоМото »

в ход пошли танки 64 года выпуска :lol:
Мат на форуме запрещен, блдж!
zVlad
Уже с Приветом
Posts: 15302
Joined: 30 Apr 2003 16:43

Re: s3 outage details posted

Post by zVlad »

АццкоМото wrote: 21 Mar 2017 23:02 в ход пошли танки 64 года выпуска :lol:
Прочитал одну, первую, строчку в Вики. Молодец, продолжай дальше, много нового и интересного узнаешь.
Для тех кто незамедлил появиться с намеками на давность архитектуры CKD и приверженности ей в zOS могу сообщить что современная, модная файловая система с блочной архитектурой в zOS тоже имеется. Называется она zFS (заменившая HFS лет десять назад), и реализованная в традиционных наборах данных на CKD эммулируемых дисках. Вот в ней есть журнал изменений и она требует проверки при неплановой перезагрузке. Т.е. в zOS есть и то что есть в других системах.
Но используется zFS в основном в портированных из Unix продуктах и в Java.
DB2 for zOS использует исключительно CKD для хранения данных и индексов. Поэтому при перезагрузке идет проверка только журнала транзакций DB2. Файловая система zOS (точнее говорить MVS) никакого журнала изменений не имеет, а проверяются лишь VTOCs, на предмет незавершенной операции распределения памяти на диске. Это не берет много времени и легко чинится.
User avatar
Flash-04
Уже с Приветом
Posts: 63377
Joined: 03 Nov 2004 05:31
Location: RU -> Toronto, ON

Re: s3 outage details posted

Post by Flash-04 »

zVlad wrote: 21 Mar 2017 22:57 Нет не теже и не сбоку. Если хотите содержательно поучаствовать то почитайте про архитектуру дисков CKD - Count Key Data.
"ты не умничай, ты пальцем покажи" (с) анекдот
ссылку давай!
Not everyone believes what I believe but my beliefs do not require them to.

Return to “Работа и Карьера в IT”