по DR я детально расписал "кроме этого файлики с hdfs в третье место бэкапятся, плюс бэкапятся приходящие файлы от source систем."
в нашем случае backup/recovery это просто копирование файликов с/на hdfs. мне сложно оценить на сколько большие деньги на это тратятся
надо понимать, что хадуп это огромный конструктор и это бигдата. у бигдаты обычно идеология - табу на модифицирование данных, данные могут добавиться, но не могут быть модифицированы. если задача позволяет жить в этой парадигме, то там все дубово и все просто. нам вот чихать как хдфс "snapshots are handling open files not as immutable". джоб создает снепшот и работает с ним, никто кроме этого джоба в этот снепшот смотреть не должен. если джоб закончился не удачно, просто снепшот будет целиком удален и никто во внешне мире не узнает, что тот снепшот существовал.
мне сложно сказать, что там за проблемы пол ссылке, поленился читать, но судя по процитированному они нарушают основополагающий принцип бигдаты и пытаются апдейтить данные, а для такого у хадупов простых решений может и не быть.
ОС на компе не работает
-
- Уже с Приветом
- Posts: 15311
- Joined: 30 Apr 2003 16:43
Re: ОС на компе не работает
Понятно. Спасибо за разяснения.iDesperado wrote: ↑04 Oct 2017 14:31 ... у бигдаты обычно идеология - табу на модифицирование данных, данные могут добавиться, но не могут быть модифицированы. если задача позволяет жить в этой парадигме, ....
-
- Уже с Приветом
- Posts: 63430
- Joined: 03 Nov 2004 05:31
- Location: RU -> Toronto, ON
Re: ОС на компе не работает
кстати да, вроде как в теории один "ноде" сдох - подключил новый, даные на него скопировались, всё. Вот если все "ноды" упадут, тогда да
не только. я работаю с logs processing systems, там как раз очень удобно этот принцип применять.у бигдаты обычно идеология - табу на модифицирование данных, данные могут добавиться, но не могут быть модифицированы.
Not everyone believes what I believe but my beliefs do not require them to.
-
- Уже с Приветом
- Posts: 1349
- Joined: 28 Nov 2008 17:50
Re: ОС на компе не работает
не только, но в ентерпрайзе бигдата это восновном DWH, BI и прочая, там мне кажется табу на апдейты тотально. если задачке нужны апдейты мне кажется чаще смотрят на что-то рядом с хадупами. типа apache ignite, casandra, mongodb ...
hbase на хадупе мне кажется уже не в моде.
-
- Уже с Приветом
- Posts: 15526
- Joined: 27 Sep 2007 22:53
Re: ОС на компе не работает
У меня тоже убунта десктоп с гигом памяти месяцам крутится на виртуалке. Где-то раз в полгода перегружается: либо когда непреднамеренно рубится свет, или его по плану в здании вырубают ночью.flip_flop wrote: ↑03 Oct 2017 03:27Это немного странно. Я не перегружаю свой десктоп с Линуксом (Федора) месяцами/годами. Временами память забита вся и процесс убивается. Но перегружать нет надобности, система как то сама справляется. У меня правда, не 2 ГБFlash-04 wrote: ↑02 Oct 2017 14:58А у меня VM c Ubuntu и 2Gb памяти периодически "вешается" от недостатка ресурсов.zVlad wrote: Мой работодатель считает что это нормально. Bремя от времени Windows тупит по дикому ("Not responding"), но это из-за маленькой памяти и гнилого внутренного устройства Windows.
-
- Уже с Приветом
- Posts: 8054
- Joined: 07 Jan 2014 02:56
- Location: midwest
Re: ОС на компе не работает
хочу выговориться.
Являюсь обладателем ужасного лаптопа, который мне слила знакомая под предлогом того какая она вся белая пушистая, щедрая, у меня тогда мой сломался.
Лаптоп ASUS. Работать на нем вообще невозможно. Самое лучшее что на нем можно делать, это подсоединить мышь и кликать.
работать руками очень очень сложно. Чтобы печатать, нужно сделать мног-много попыток. Руки постоянно попадают не на те клавиши, курсор прыгает на другую строку или даже окно, все стирается, окна случайно закрываются и тд. Я не замечала вроде что у меня руки не из того места
Бывают объективно такие ужасные лаптопы? когда я ей обмолвилась об этом, она так сильно удивились ))
мышка сенсорная тоже до ужаса чувствительная
Являюсь обладателем ужасного лаптопа, который мне слила знакомая под предлогом того какая она вся белая пушистая, щедрая, у меня тогда мой сломался.
Лаптоп ASUS. Работать на нем вообще невозможно. Самое лучшее что на нем можно делать, это подсоединить мышь и кликать.
работать руками очень очень сложно. Чтобы печатать, нужно сделать мног-много попыток. Руки постоянно попадают не на те клавиши, курсор прыгает на другую строку или даже окно, все стирается, окна случайно закрываются и тд. Я не замечала вроде что у меня руки не из того места
Бывают объективно такие ужасные лаптопы? когда я ей обмолвилась об этом, она так сильно удивились ))
мышка сенсорная тоже до ужаса чувствительная
-
- Уже с Приветом
- Posts: 63430
- Joined: 03 Nov 2004 05:31
- Location: RU -> Toronto, ON
Re: ОС на компе не работает
А чего было не открыть отдельную тему?
Not everyone believes what I believe but my beliefs do not require them to.
-
- Уже с Приветом
- Posts: 8054
- Joined: 07 Jan 2014 02:56
- Location: midwest
Re: ОС на компе не работает
А стоит оно отдельной темы? лаптоп ASUS ужасное гомно, что тут рассусоливать. Мне просто было интересно, общеизвестный ли это факт. Хотя Вы правы, тема больше для "железа"