Самый жуткий случай в практике моей работы

[Dmitry67]

Навеяно топиком в Автомобилях про самый страшный случай в водительской практике. Давайте писать про глупости, забавности, и собственные и чужие проколы

Сам и начну

1. Давно. Работаю в институте на блинах для PDP-11 c "клювиками". По окончании рабочего дня делаю "backup" на соседний диск утилитой PRE, копируя "блок в блок". Сделав backup, вспоминаю что диск свой для backup я НЕ ПОСТАВИЛ. А там стоял диск другого мужика... Короче, месяц потом писал ему модули, которые потер...

2. US, startup. Фирма готовится начать электронные продажи в полночть дня X, после рекламы по телевизору. Все не спят и работают как бешеные. 23:55 dba (не я) решает выполнить самый самый последний скрипт на production. В 23:57 он пишет некий delete и забывает написать where. В 23:58 он это запускает. 23:59 он затер информацию о всех платежам по кредиткам. В 00:00 он кричит - останавливайте сервер ! надо восстановить backup ! Тут входит директор и говорит - ну как у нас дела ? Мы в эфире ! Другой сотрудник (глядя на CPU utilisation IIS) - у нас немеряно пользователей...

3. US, startup. Помогаю индусу найти ошибку в SQL операторе. Вижу что деньги (сумму платежа) он хранит в строковом поле varchar в виде '$12.34' со знаком доллара. Я спросил - зачем ? Он сказал - мне так удобнее, не надо в VB добавлять символ доллара. Я не нашелся что ему возразить

4. Фирма X. Просят восстановить production базу из backup, потому что она запортилась (апплиация сделала ненужный delete). Я нахожу на сервере две базы: скажем PROD и TEST. TEST не бэкапируется естественно. Смотрю на backupы PROD и чтото странное... одинаковые они, байт в байт... А вот TEST больше по размеру чем PROD. Подхожу к женщине dba, которая работала давно и рассказываю. Первый раз вижу как человек начинает зеленеть на глазах

Оказывается, полгода назад база PROD запортилась. Более ранюю версию восстановили как TEST, чтобы сравнить... Рук проекта увидел что старая копия (TEST) как раз им подходит, и, ни слова не говоря, стал ее использовать. А PROD все эти пол года исправно backupИровался

[awaken]

страшных не было. забавные - были.

1.давно, во времена ДОСа. меня позвали в один секретный институт (НИИчего-то там) куда попасть непросто, помочь очистить машину от вирусов.
я обнаружил что это вирус еще неизвестного типа и предложил переименовать или удалить зараженные файлы, поиском по сигнатуре.
запустил NDD (Norton Disk Destroyer). результат - диск был очищен не только от вирусов, но и от всего контента вообще. мужик сильно расстроился т.к. про то что надо иногда делать бэкап не знал . я отделался извинениями.

2.в США, когда на Х1-Б работал в самом начале. Мы с коллегой значились как "серверные программисты" и помимо программирования отвечали за майнтенанс продакшн сервера (Windows 2000 + IIS + наша вся хрень в виде разных DLL на нем). Иногда сервер падал и приходилось выезжать ночью на машине в офис чтобы его перезапустить, по звонку пейджера. Один раз мы сервер переставили, через два дня W2K отказыыалась стартовать. Обнаружились исчезнувшие и попорченные DLL. Сервер переставили, поставили все критические апдейты. Через два дня история повторилась. После третьей переустановки мы дали серверу имя "3.14ZDETS" , так он нас задолбал. все равно американцы не поймут. Причина оказалась очень банальной - коллега написал батник удаляющий временные файлы в рабочем каталоге IIS, но в батнике не указал путь. а в этом случае берется путь текущего каталога , который был WINNT/SYSTEM32. Поскольку батник был вставлен в таск шедулер, он запускался точно раз в два дня. Начальство об истинной причине не узнало, а мы получили отгулы за экстра-работу в нерабочее время

[zVlad]

Здоровская (ударение на первом слоге), Dmitry67. Вот и мои три копейки (на самом деле если вспомнить то я могу десятки страшилок и смешилок рассказать - я ведь работал в СССР в сервисной конторе, мы только со страшилками и смешилками работали).
1. Уже здесь, в Канаде, в первые месяцы моей работы с DB2 под MVS (первыми в моей жизни вообще). Получаю задание создать тестовый (даже предтестовый) инстанс с продакшн бэкапа на системе, которая имела интегрированный с продакшн системой каталог (вещь для меня тоже была новая). Короче пишу задание утилите восстановления мол восстанови то-то на те-то диски (естественно не продакшн) - утилита отвечает: не могу, эти файлы уже есть, скажи реплэйс если ты в самом деле хочешь этого. Еще не зная тонкостей (на самом деле толстостей) VSAM файлов я рассуждаю в том смысле, что если я прошу восстановить на отределенные диски и не прошу каталогизации, то с REPLACE утилита выдаст какую-нибудь ошибку. Ничего подобно, утилита восстановливает бэкап поверх продакшн, а это к счастью - каталог DB2. Я в ужасе, звоню коллеге, она только и может сказать "O boy, o boy". Немного успокоившись приходим к выводу, что может и ничего страшного не произошло. Система работает, все тихо. Но, думаем, когда база будет перезапускаться (по графику) что-нибудь может вылезти. Готовим план работ к этому, ставим всех в известность, план нам одобряют. В ночь перезапуска сидим на работе - ждем. Да, слается худшее, но коль скоро мы к этому готовы, не с первого раза, но работу восстановили, потеряв лишь информацию имеющую отношение к рекавери.

2. СССР. Приезжаю в другой город делать работу. Лента не читается. Ни на одном механизме. Внутренний голос говорит - положи на кондиционер и выпей чашечку чая. Исполняю. Охлажденная лента читается нормально?!?!?!?!?!

[Mark]

1) 2-й курс - производственная практика, сестра устроила меня к себе в контору (одно из подразделений Главкосмоса). Контора жутко секретная - мне оформляют вторую форму (наверняка многие здесь помнят что это:)).
Первый день работы - к комьпьютерам меня естественно не пускают - дают "в зубы" толстенную распечатку с описанием тех.процесса (где никакой конкретики), лист миллиметровки и говорят - рисуй блок-схему алгоритма, вечером проверим. Я пыхтел-пыхтел после обеда начал рисовать - получилось неаккуратно - поробовал стереть - вообщем развел грязь на листе - ну я его скомкал и в мусорку выбросил. Пошел к начальнице просить новый - она говорит - "хорошо - только старый то где?"
- "Да я его в мусорку выбросил"
с начальницей чуть инфаркта не случилось - она побежала к мусорке - начала в ней рыться - слава богу еще никто мусор не выносил . Я не понимая в чем дело (дома у меня этой миллиметровки рулоны) стою с растерянным видом.
Она с облегчением показывает мне этот лист и говрит - "Ты что не видел что там на обороте?"
А там окаэывается куча штампов типа "Сов Секретно", "Выдано тов ____ под персональную ответственность", "Сдать на спец хранение после использования"

2) я уже писал на привете про этот случай - о том как в МинФине РФ прорвало канализацию именно в день показа нашей системы французским коллегам - и они долго не верили что сервера тоже залило (отнюдь не водой), потому что они стояли в подвале в бывшем туалете (ну не было давали нам другой комнаты под сервера) и как один героический ДБА из нашей группы (не я) нырял в эту "не воду" в своем парадном костюме и новых туфлях (все таки французам собирались систему показывать) чтобы зашатдаунить сервер и выдернуть диски.

3) Одно из отделений (самое крупное) Федерального казначейства России. IT manager звонит к нам в контору и говорит (нет скорее ОРЕТ!!!) - "что случилось??? работать невозможно??? любой запрос по полчаса идет??? приезжайте немедленно???"
Едем чуть ли не всей командой... Что у клиента в офисе творится описать трудно - Содом и Гоморра. Запускаем мониторинг - скорость i/o операций ниже на порядок... тут новенький парень из нашей команды - посланный в серверную помотреть что там на консоли NT сервера - возвращается и тихонько так говорит "а ничего что там директория с датафайлами какая то синяя?" - немая сцена
Оказывается какой один из НТ админов решил съэкономить место на сервере и закомпрессил директорию с датафайлами (во время остановки сервера)... На вопрос - а на фига именно эту директорию - был достойный ответ - а они жмуться хорошо

[DP]

Контора жутко секретная - мне оформляют вторую форму (наверняка многие здесь помнят что это:)).

вторая форма это обычная форма которую оформляли без всяких напрягов любому студенту... что-то серьезное начинается с первой формы

[Dmitry67]

А вот еще
Показыват мне систему. Писано это было на Btrieve.
С гордостью говорят что транзакциями не пользуются и что у них своя система транзакций и целостности

Вот один раз диск запортился а бэкапа не было. Так мы умудрились 80% Записей восстановить ! (было сказано с гордостью)

[Gennadiy]

1. Делаем софт и железо которое управляет ескалаторами в метрополитене. Надо тестировать . Выходим ночю поскольку тестовых ескалаоторов нет. Запускаем. Тут же звонок со станции - и истошный вопль. Запустился ескалатор стоящий на ремонте со снятыми ступенями. Повезло что там никто не работал. Оказалось - нам по ошибке дали схему не того ескалатора.
2. Там же - система управления вентиляторами. Система недавно запущена. Диспечер хвастается своему коллеге какая у него крутая современная система. Для примера включает многотонный вентилятор работавший на вытажку в режим нагнетания. Вентилятор тут же сгорает. После этого поставили принудительную 10 минутную задержку.
3. США. Система електронной торговли. Один из наших програмистов не поставил необходимую проверку на положительность спреда (разница между ценой продажи и покупки). Один из трейдеров решает попробовать что будет если ввсети итрицательное значение. За ту минуту что спред был отрицательным было сделано более 50 трейдов. Компания потеряла 10 миллионов.

[Dmitry67]

1. Делаем софт и железо которое управляет ескалаторами в метрополитене. Надо тестировать . Выходим ночю поскольку тестовых ескалаоторов нет. Запускаем. Тут же звонок со станции - и истошный вопль. Запустился ескалатор стоящий на ремонте со снятыми ступенями. Повезло что там никто не работал. Оказалось - нам по ошибке дали схему не того ескалатора.
2. Там же - система управления вентиляторами. Система недавно запущена. Диспечер хвастается своему коллеге какая у него крутая современная система. Для примера включает многотонный вентилятор работавший на вытажку в режим нагнетания. Вентилятор тут же сгорает. После этого поставили принудительную 10 минутную задержку.
3. США. Система електронной торговли. Один из наших програмистов не поставил необходимую проверку на положительность спреда (разница между ценой продажи и покупки). Один из трейдеров решает попробовать что будет если ввсети итрицательное значение. За ту минуту что спред был отрицательным было сделано более 50 трейдов. Компания потеряла 10 миллионов.

1. Тут в Париже 14 линия компутерами управляется
Вы для нее ничего не писали ? (а то ездить не буду )
3. И что ему потом было ? Его поставили на деньги и включили счеткик ?

[Gennadiy]

1. Тут в Париже 14 линия компутерами управляется
Вы для нее ничего не писали ? (а то ездить не буду )

Я знаю. В Париже с точки зрения авотматизации - уникальная система стоит. Под нее даже специальную элементную базу разрабатывали.
А ездить не бойтесь. Мы хорошо писали. За четыре года ни разу не збойнула (что сейчас с ней не знаю - контактов не осталось, все свалили).

3. И что ему потом было ? Его поставили на деньги и включили счеткик ?

Лишили премии! А для трейдера это хуже постановки на счетчик. Програмер отделался легким испугом.

[CTAC_P]

Самый жуткий случай (связанный с IT) когда президенту Ельцину хлопнуло сделать деноминацию, а ЦБ добавил к этому переход на другой план щетов для банков. У нас было 4 дня чтобы полностью заменить софт (а он, естественно, был не отлажен, поэтому меняли его дважды) и сделать все что требуется. Двое суток не одходя даже пожрать, еду и водку нам привозили прямо на рабочее место.
Управляющий в это время отдыхал в Испании. Вернулся, говорит: я знал что на вас можно расщитывать, поэтому отдыхал спокойно

[Mark]

Контора жутко секретная - мне оформляют вторую форму (наверняка многие здесь помнят что это:)).

вторая форма это обычная форма которую оформляли без всяких напрягов любому студенту... что-то серьезное начинается с первой формы

дык я и был студент
и хорошо что ничего особо серьезного не оформил

[oMoses]

начало 90-х, Сибирь, свежеиспеченный коммерческий банк, на базе замшелого советского жилсоцбанка... Контингент - соответствующий: старые девы, интриги, сплетни, рюшечки на подоконниках, деревянные счеты. Все сидят в больших комнатах, где хитро расставлены рабочие столы - на виду у всех. Три новых сотрудника отдела механизации (ну не быто тогда в табелях отдела кадров такого слова, как автоматизация!), в углу, получают новую XT-шку, 16 Мегагерц и городо ставят ее на стол - мордой в угол, задом - к тетенькам. Начинают работать - MS DOS ставить... Через пару дней - скандал. Взбунтовалась вся комната и категорически не желает с нами жить. Причина - проста до банальности: "вентилятор компютера горло сушит"...

[8K]

что-то серьезное начинается с первой формы

Форма номер раз: трусы, противогаз.

[Каскыр]

Контора жутко секретная - мне оформляют вторую форму (наверняка многие здесь помнят что это:)).

вторая форма это обычная форма которую оформляли без всяких напрягов любому студенту... что-то серьезное начинается с первой формы

дык я и был студент
и хорошо что ничего особо серьезного не оформил

А то бы вынужден был иметь другой имидж на Привете.

[Calderone]

Работаем на немцев, делаем софт для системы управления неким техпроцессом.
Программа кастомизируема, вобще говоря, на сайте у заказчика просто конфигурируем. Но помаленьку переписываем стандартные блоки и втихую отлаживаем их на очередном заказчике.
Я написал новый сабкласс управления уровнем жидкости, занаследовал от базового, добавил переменную, а новый дефолтный констрактор написать забыл.
Поздно вечером перед уходом в гостиницу запускаем программу и уезжаем спать.
В неинициализированной переменной оказался неудачный мусор, регулятор уровня как открыл клапан, так и оставил его открытым до утра. В ванну лилось мощным потоком и перелилось через край несколько тонн платиносодержащего раствора где-то на 30 тыс марок. Я никогда не видел таких наглядных последствий таких незамысловатых ошибок.
После того, как я объяснил смысл произошедшего шефу, немцу, он сжав зубы, сказал, в следующий раз будь внимательнее. На счетчик меня не поставили, наверное, списали потери на R&D

[Veselchak U]

Нда, 30000 марок, конечно, пустяк по сравнению с многомиллионными потерями НАСА из-за тривиальных ошибок в софте, но когда ошибка сделана лично... Ой...

[VYLE]

Контора жутко секретная - мне оформляют вторую форму (наверняка многие здесь помнят что это:)).

вторая форма это обычная форма которую оформляли без всяких напрягов любому студенту... что-то серьезное начинается с первой формы

Студенты начинали с третьей формы.

[flip_flop]

Контора жутко секретная - мне оформляют вторую форму (наверняка многие здесь помнят что это:)).

вторая форма это обычная форма которую оформляли без всяких напрягов любому студенту... что-то серьезное начинается с первой формы

Серьезное могло начинаться и со второй формы, если Вы были ознакомлены с документацией определенного уровня секретности. Сей факт регистрировался по месту ознакомления, Вы рассписывались, оставляли отпечатки пальцев и прочее. После этого в Первом Отделе по Вашему месту работы появлялась отметка в учетной карточке и Вы были "на крючке" на определенное время. Иными словами, форма - это доступ, а отметка - свидетельство того, что доступ был использован для чего-то "серьезного".

[Lisa]

Делали мы как-то давно для московской милиции карту для какой-то системы типа "перехват". Сделали, но карта им не очень понравилась, уж не помню почему, и мы стали делать новый вариант, а старый (огроменная такая карта, полстены) как раз на стену и повесили, для красоты. И вот приходит какое-то милицейское начальство за новой картой и буквально багровеет на глазах. Карта оказалась жутко секретной. Было велено немедленно содрать и уничтожить.

[sergey1234]

Самый жуткий случай - падение башен трейд-центра, в которыx наxодились несколько заказчиков нашей фирмы, и полтора месяца работы потом с овертаймами до 42 часа в неделю, без выxодныx. Вспоминать не xочется.

Из того что мало-мальски xочется вспомнить - только момент когда какой-то паникер обьявил эвакуацию два дня спустя в мидтауне в здании где я работал (был какой-то дым, не то маленький пожар не то задымление). Даунтаун города был еще закрыт, многие дороги перекрыты, ленты бэкапов не было возможности отправить из здания и они xранились на месте.

Ну, раз эвакуация, я встаю, беру чемодан последниx бэкапов (не то что опасаюсь что и в это здание самолет врежется, но здание могут запереть на несколько дней а вдруг данные понадобятся) и уxожу по лестнице. Глядя на это дело сменный инженер (тертый такой дядя лет 55) берет на всякий случай чемодан предыдущиx бэкапов и тоже идет из здания. Глядя на это дело нетворк-администратор (серьезный высокооплачиваемый дядя) обxодит сервера, собирает в сумку последние ленты (бэкап кое-где не полный т.к. не прошел еще инкрементал конца дня, но кое-какоие свежие данные на лентаx есть) и идет за нами. Видя это дело дибией откатывает транзакции, останавливает еджины, и запускает копирование всего что есть на севераx ценного через ван в соседнее здание.

Блин, было редкое чуство что если не дай бог что-то случится то ни байта данныx не пропадет, на рукаx (причем вне здания) четыре копии... Единственный раз когда было такое чуство, обычно волнения "а прочитается ли единственный бэкап?"

[Dmitry67]

3. США. Система електронной торговли. Один из наших програмистов не поставил необходимую проверку на положительность спреда (разница между ценой продажи и покупки). Один из трейдеров решает попробовать что будет если ввсети итрицательное значение. За ту минуту что спред был отрицательным было сделано более 50 трейдов. Компания потеряла 10 миллионов.

Гипотезы
1. Ваша фирма такая крупная что за миниту продается >10M. Не верю
2. Увидев что цена уменьшилась все ломанулись покупать товар. Они что все сидят и refresh давят непрерывно ? Не верю
3. По русски это называется откат А трейдер купил вскоре дом без кредита. Ну и программеру перепало

[zVlad]

Sergey1234 wrote:
"....дибией откатывает транзакции, останавливает еджины, и запускает копирование всего что есть на севераx ценного через ван в соседнее здание. "

Это в какой же еще БД в 21 веке нужно останавливать еджины чтобы сделать копирование?

[A. Fig Lee]

Гипотезы
1. Ваша фирма такая крупная что за миниту продается >10M. Не верю

Абсолютно верно, что не верите. Геннадий наверное, пару нулей дописал.
Получается в среднем на одной транзакции только потери были 200 тысяч - какой же тогда обьем транзакции. К тому же там стоят ограничители, как правило на сумму транзакций. 2. Такими обьйемами транзакции не проводят - их дробят. Они не будут филл крупные так быстро.

У нас был аналогичный случай - разработчик неправильный ИП вписал - не дебаг сервера, а продакшн. Насколько я помню, потери были меньше миллиона за несколько часов.

[A. Fig Lee]

2. Увидев что цена уменьшилась все ломанулись покупать товар. Они что все сидят и refresh давят непрерывно ? Не верю

Дак нет - Вы заранее выставляете ордер на покупку по цене ниже определенной или "МАРКЕТ".

[Gennadiy]

3. США. Система електронной торговли. Один из наших програмистов не поставил необходимую проверку на положительность спреда (разница между ценой продажи и покупки). Один из трейдеров решает попробовать что будет если ввсети итрицательное значение. За ту минуту что спред был отрицательным было сделано более 50 трейдов. Компания потеряла 10 миллионов.

Гипотезы
1. Ваша фирма такая крупная что за миниту продается >10M. Не верю

Продавала. Оборот $500 миллиардов в год был. Это рынок газа и электроэнергии. Там каждый клик мышкой был в 100 тысяч долларов.
Ограничители на одного человека были. Персональные. Обычно 1-2 миллиона.
Но это в одну сторону. А тут как - он продал/купил и опять в нулях.
И потом там человек 10 успело поторговать.
P.S. Ну может я приврал по поводу 1 минуты. Это со слов терйдеров. Может оно минут 5 висело

2. Увидев что цена уменьшилась все ломанулись покупать товар. Они что все сидят и refresh давят непрерывно ? Не верю

А без рефреша вы не представляете. Вы про тикеры слыхали. Как только что-то меняется на рынке - трейдера ТУТ ЖЕ видят это изменение. Это spot market. А мы их в это изменение носом ткнем (цветом, флешем и т.д.)

3. По русски это называется откат А трейдер купил вскоре дом без кредита. Ну и программеру перепало

Если бы их на этом поймали - то "их дом тюрма".