хадуп кластер

[Сабина]

Есть интересно тут кто нибудь, кто по инфоаструктуре ?
Это такая общая практика совать на один хост дофига чего ? Мне казалось что хадуп all about using commodity hardware , но многа, очень многа ?

[iDesperado]

Есть интересно тут кто нибудь, кто по инфоаструктуре ?
Это такая общая практика совать на один хост дофига чего ? Мне казалось что хадуп all about using commodity hardware , но многа, очень многа ?

думаю да. у нас по 40 ядер и 128 гб на хосте и тоже дофига ролей. и импала и ярн и спарк, а вот хостов не так уж много. и никакой виртуализации.

[Сабина]

Есть интересно тут кто нибудь, кто по инфоаструктуре ?
Это такая общая практика совать на один хост дофига чего ? Мне казалось что хадуп all about using commodity hardware , но многа, очень многа ?

думаю да. у нас по 40 ядер и 128 гб на хосте и тоже дофига ролей. и импала и ярн и спарк, а вот хостов не так уж много. и никакой виртуализации.

Ok ! Good. А вы считаете это правильно ? По мне так - нет.
Ведь это все VMs по сути.Ну есть у тебя beefy server ... Так нарежь несколько commodity VMs и дай там народу поставить по докеру на свои заботы ....
Ведь docker containers on a single host run over a single linux kernel со всеми вытекающими .... Зачем на одну VM пихать то все ?

[iDesperado]

Ok ! Good. А вы считаете это правильно ? По мне так - нет.
Ведь это все VMs по сути.Ну есть у тебя beefy server ... Так нарежь несколько commodity VMs и дай там народу поставить по докеру на свои заботы ....
Ведь docker containers on a single host run over a single linux kernel со всеми вытекающими .... Зачем на одну VM пихать то все ?

ну кластер у нас в 2014 развернули, тогда о докерах я к примеру ничего и не слышал. да и сейчас я лишь по наслышке с докером знаком. как я понимаю в клоудере менеджере каждый докер как хост будет выглядеть. вместо десятков хостов у нас были бы тысячи ?

"дай там народу поставить по докеру на свои заботы" - тут не понял, зачем народу докер с клоудеровской требухой ? юзеры в принципе на другом уровне работают, девелоперы на винде сидят, все что нужно с винды запускают, там да - какие-то куду сервисы в докерах поднимаются.

[Сабина]

Докеры дело десятое . Я к тому что host= vm в наши дни. Если у компании есть свои мощные сервера, тотнадо их нарезать на VMs поменьше, а не 33 компоненты ставить на один хост. Докер - это всего лишь следующая единица изоляции для single instance. А когда миллион серверов шерят one core - это не есть хорошо. ну мне так кажется

[iDesperado]

Докеры дело десятое . Я к тому что host= vm в наши дни. Если у компании есть свои мощные сервера, тотнадо их нарезать на VMs поменьше, а не 33 компоненты ставить на один хост. Докер - это всего лишь следующая единица изоляции для single instance. А когда миллион серверов шерят one core - это не есть хорошо. ну мне так кажется

а какие преимущества даст виртуализация и так уже облака ? у нас 20 хостов, что бы нам дали 2000 vm взамен ? это же теперь патчить не 20, а 2000 линуксов. парцелы теперь на тысячи хостов деплоить.
имхо все преимущества виртуалок у хадупа и так есть - навернулась нода, нагрузка переехала. ноду вернули - нагрузка приехала. а виртуализация лишь добавит кол-во линуксов в которых что-то прописывать нужно.

[Сабина]

виртуализация уже given, вопрос был про сколько ставить на single host. ну ладно че то уже запутались и вообще пятница