Начало конца Microsoft?

f_evgeny · Post by **f_evgeny** » 04 Apr 2004 17:55

zVlad wrote: Я думаю проблема все таки есть, и она состоит в том что как не распределяй нагрузку между отдельными серверами это не сможет сравнится с ситуацией когда операционной системе лишь нужно уметь диспетчировать готовые к выполнению запросы на один центральный процессор и уметь распараллеливать запросы если компьютер многопроцессорный. По сути дела, в случае центрального процесса проблема балансирования загрузки не существует вообще. Вместо нее есть проблема диспетчирования, которая также (после балансирования) возникает и в случае компьютерного кластера.
Кстати о WEB приложениях. До сих пор мы предпологали что сервера в "стае" могут выполнять любой запрос, т.е. они функционально эквивалентны. Но в реальности, на серверах, как правило за отдельными серверами закреплены функции - один сервер базы данных, другой транзакций, третий HTTP. Мы не можем запросы к базе данных перепоручить простаивающему серверу транзакций, как бы серверу базы данных не было тяжело он будет выполнять свою работу сам. А сервер транзакций будет ждать ответа от сервера БД ковыряя в носу.
Когда же все сервисы на одном компьютере такого происходить не будет происходить, и компьютер будет загружен более гармонично. Его систему ввода-вывода будет грузить БД, а процессор - сервер приложений.

Мосикс как раз адресован решать такие проблемы. Он работает прозрачно для приложений, и ему все равно, какое приложение где запускать. Другое дело, что там есть другие ограничение, например короткоживущие процессы нет смысла мигрировать.
Конечно все можно запускать на одном компьютере, будь это ЮНИКС, или МФ, тогда проблема балансировки вообще не возникает. Но речь-то и идет о том случае, когда мощности одного компьютера не хватает. С МФ, вероятно, главная проблема то, что он дорогой.

tengiz · Post by **tengiz** » 04 Apr 2004 17:58

zVlad, один маленький комментарий: формулируйте свои вопросы не так многословно и пояснее, пожалуйста. А то непонятно, что Вас интересует. Конфигурация веб приложений и распределение нагрузки обычно совершенно не такое, как Вы полагаете - сервер базы данных как правило наименее нагруженная часть (тем более, когда модель данных делается квалифицированных разработчиком БД), поэтому его одного хватает на обслуживание большого количества серверов приложений. Именно среди серверов приложений обычно нужен динамический баланс нагрузки и динамическая диспетчиризация запросов. Так как в "стае" сервера приложений выполняют один и тот же код, то и проблема в том виде, в котором Вы её описываете, как правило не существует.

P.S. А с AS/400 Вы работаете?

Dmitry67 · Post by **Dmitry67** » 04 Apr 2004 18:17

tengiz wrote:сервер базы данных как правило наименее нагруженная часть (тем более, когда модель данных делается квалифицированных разработчиком БД), поэтому его одного хватает на обслуживание большого количества серверов приложений.

Подтверждаю
IIS в основном занимаются записью и восстановлением контекста на что уходит 99% CPU
Вообще WEB программирование мрак, уровень 80 годов
Только вместо глобальных XXX переменных пишешь Session["XXX"]

f_evgeny · Post by **f_evgeny** » 04 Apr 2004 18:30

Ну, я думаю, я уже продержался девять раундов.

JustMax · Post by **JustMax** » 04 Apr 2004 19:23

Dmitry67 wrote:Только вместо глобальных XXX переменных пишешь Session["XXX"]

А что "mov eax,XXX" уже отменили ? :mrgreen:

JustMax · Post by **JustMax** » 04 Apr 2004 19:36

f_evgeny wrote:Ну, я думаю, я уже продержался девять раундов.

Держитесь Евгений, держитесь.

Я хоть и не разделяю полностью ваши утверждения - но согласен в одном - Вы (Linux) взяли на себя часто презираемую и высокомерно отвергаемую роль быть занозой в заднице у благодушной части разработчиков коммерческих программ. А ведь заноза в этом месте всегда была двигателем прогресса.IMHO

f_evgeny · Post by **f_evgeny** » 04 Apr 2004 19:41

JustMax wrote:
f_evgeny wrote:Ну, я думаю, я уже продержался девять раундов.

Держитесь Егений, держитесь.
Я хоть и не разделяю полностью ваши утверждения - но согласен в одном - Вы (Linux) взяли на себя часто презираемую и высокомерно отвергаемую роль быть занозой в заднице у благодушной части разработчиков коммерческих программ. А ведь заноза в этом месте всегда была двигателем прогресса.IMHO

Спасибо, земляк!

У литовца маленькая Родина, зато большая могила - вся Земля! (Почти C)

Strannik223 · Post by **Strannik223** » 04 Apr 2004 21:11

f_evgeny wrote:Ну, я думаю, я уже продержался девять раундов.

Нет, это секретный прием Ван-Дама: изматывание противника бегом :mrgreen:

tengiz · Post by **tengiz** » 04 Apr 2004 21:18

Strannik223 wrote:Нет, это секретный прием Ван-Дама: изматывание противника бегом

...при этом противник даже и не пытается догнать и побить. Я бы даже сказал, что всё совсем наоборот. Зато болельщики в восторге

.

Strannik223 · Post by **Strannik223** » 04 Apr 2004 21:36

Dmitry67 wrote:
tengiz wrote:сервер базы данных как правило наименее нагруженная часть (тем более, когда модель данных делается квалифицированных разработчиком БД), поэтому его одного хватает на обслуживание большого количества серверов приложений.

Подтверждаю
IIS в основном занимаются записью и восстановлением контекста на что уходит 99% CPU
Вообще WEB программирование мрак, уровень 80 годов
Только вместо глобальных XXX переменных пишешь Session["XXX"]

Это не мрак никакой

Если вы будете хранить соединение а так же данные о состоянии каждого клиента на сервере то он умрет намного раньше чем тот же сервер воостанавливающий контекст юзера на каждый запрос
Оговорка: это если мы говорим о высоконагруженных серверай с большим количеством пользователей

Если я делаю онлайн шоппинг и в результате load balancing попадаю на другой сервер то мне очень непонравиться если моя корзинка окажется пустой, следовательно нужено глобальное хранилище состояния каждого клиента (сессия)
Далее есть 2 варианта: состояние храниться на клиенте и он при каждом запросе его посылает на серваер или все состояния хранияться на сервере в сессии, которая может быть в виде БД например

Так что все определено аритектурой и целесообразностью а не слабоумием разработчиков

Strannik223 · Post by **Strannik223** » 04 Apr 2004 21:45

О сабже уже забыли :)
Настоящий фидошник сабж не меняет!

Раз пошел разговор о веб и распределении нагрузки, то у меня не такик благостные впечатления от БД

Дело в том что application server or web server масштабируются практически линейно. А вот с БД сложнее. Особенно в веб приложениях где информацию надо вычитывать на каждый запрос от юзера

Можно конечно попытаться кешировать но тогда появится рассинхронизация данных на разных application(web) servers.

Можно сделать invalidation broadcast при изменении объекта но встает вопрос надежности транзакций ибо по сути мы стоим перед необходимостью создания распределенного кеша с транзакционной целостростью, со всякими откатами, коммитами и блокировками

Any comments?

JustMax · Post by **JustMax** » 04 Apr 2004 23:30

Oracle RAC ? :pain1:

zVlad · Post by **zVlad** » 04 Apr 2004 23:56

f_evgeny wrote:.........
Конечно все можно запускать на одном компьютере, будь это ЮНИКС, или МФ, тогда проблема балансировки вообще не возникает. Но речь-то и идет о том случае, когда мощности одного компьютера не хватает. С МФ, вероятно, главная проблема то, что он дорогой.

А вот тут возникает еще одна проблема. Если запускать все на одном компьютере, то в зависимости от сбалансированности теперь уже архитектуры компьютера, и гибкости (приёмистости) операционной системы (планировщика и диспетчера) мы тоже можем наблюдать разные неприятности как-то CPU 100% загружен, а ввод-вывод нет и наоборот.
Я думаю неслучайно сервера на ПК выделяются под какую-либо одну функцию (БД, WEB, почта, принтеры и т.д.).
Для МФ же чем разнообразнее нагрузка тем более эффективно загружены его ресурсы (процессор, память, каналы ввода-вывода).
Взять нашу фирму. На одном компьютере и БД, и сервер приложений, и пакетные задания здесь же крутятся и другое.

Как показывают многочисленные исследования цена решений на МФ для сопостовимых требований и в расчете скажем на 5 лет, как правило ниже чем на других платформах.

Strannik223 · Post by **Strannik223** » 05 Apr 2004 00:14

zVlad wrote: А вот тут возникает еще одна проблема. Если запускать все на одном компьютере, то в зависимости от сбалансированности теперь уже архитектуры компьютера, и гибкости (приёмистости) операционной системы (планировщика и диспетчера) мы тоже можем наблюдать разные неприятности как-то CPU 100% загружен, а ввод-вывод нет и наоборот.
Я думаю неслучайно сервера на ПК выделяются под какую-либо одну функцию (БД, WEB, почта, принтеры и т.д.).
Для МФ же чем разнообразнее нагрузка тем более эффективно загружены его ресурсы (процессор, память, каналы ввода-вывода).
Взять нашу фирму. На одном компьютере и БД, и сервер приложений, и пакетные задания здесь же крутятся и другое.

Как показывают многочисленные исследования цена решений на МФ для сопостовимых требований и в расчете скажем на 5 лет, как правило ниже чем на других платформах.

Вы забываете про масштабируемость
Если МФ перестанет через пол-года тянуть задачу, покупаем новый, более мощный, через год покупаем самый мощный, через 2 чешем репу: "чего теперь делать будем"?

Кроме того хороший планировщик не является преррогативой МФ

Разделение машин идет не по функциональному принципу а по нагрузке, например тот же web farm перенесенный на МФ при хорошей нагрузке загнется. Или у МФ процессор резиновый?

zVlad · Post by **zVlad** » 05 Apr 2004 01:19

tengiz wrote:........ Конфигурация веб приложений и распределение нагрузки обычно совершенно не такое, как Вы полагаете - сервер базы данных как правило наименее нагруженная часть (тем более, когда модель данных делается квалифицированных разработчиком БД), поэтому его одного хватает на обслуживание большого количества серверов приложений. Именно среди серверов приложений обычно нужен динамический баланс нагрузки и динамическая диспетчиризация запросов. Так как в "стае" сервера приложений выполняют один и тот же код, то и проблема в том виде, в котором Вы её описываете, как правило не существует.

P.S. А с AS/400 Вы работаете?

Я полагаю что проблема загрузки серверов не имеет эффективного решения, когда наперед не известно какие будут возникать потребности в ресурсах. Когда ваша система строится из многих серверов вы вынуждены расчитывать мощность исходя из того что любой сервер может оказаться узким местом. Следовательно закладывать гораздо бОльший запас, чем в случае одного мощного централизованного вычислителя.
С AS/400 никогда не работал. Полагаю они были задуманы ИБМ-ом туда где сейчас RISC и мощные ПК обосновались. Не умерли конечно, живы.
Кстати, мой вопрос, как Вы относитесь к тому что мощный сервер на Itanium несущий например БД немелкой компании до сих пор называется ПК (персональный компьютер) сервер? Ведь не одно это и тоже, правильно? Помню, в начале 80-х поручили мне провести курсы по программированию персонального компьютера Д3-28? Я тогда нашел определение ПК как "устройства все процессы в которых управляются и контролируются одним человеком". Или что-то в этом духе.

smesh · Post by **smesh** » 05 Apr 2004 01:29

Вроде бы не offtopic - мигрирую постепенно с M$:
- IE, Outlook -> Mozilla
- Studio -> Eclipse

Как заставить бегать не Windows ОДНОВРЕМЕННО с Windows (неужто 3GHz + 1Gb мало для какой-нибудь SVM + две ОСи?

). Посмотрел на coLinux, вроде бы оно, но больно уж раннее. Премного благодарствуйте. :gen1:

zVlad · Post by **zVlad** » 05 Apr 2004 01:42

Strannik223 wrote:...............
Вы забываете про масштабируемость
Если МФ перестанет через пол-года тянуть задачу, покупаем новый, более мощный, через год покупаем самый мощный, через 2 чешем репу: "чего теперь делать будем"?

Кроме того хороший планировщик не является преррогативой МФ

Разделение машин идет не по функциональному принципу а по нагрузке, например тот же web farm перенесенный на МФ при хорошей нагрузке загнется. Или у МФ процессор резиновый?

Я не постесняюсь сказать, что самая лучшая масштабируемость на сегодня как раз у МФ. Поясню на двух примерах.
1. В нашей конторе используется модель из серии z900. Мы используем 6 процессров и 12 Gb памяти за что и платим ИБМ и поставщивам программного обеспечения (цена программного обеспечения для МФ зависит от мощности компьютера). Насам деле в боксе находится большее количество процессорв и памяти, и когда мы видим что нам нужно больше процессоров, то мы запрашиваем ИБМ, приходит человек и добавляет процессоры, память, whatever. Соответственно изменяется плата
2. В мае прошлого года была запущена серия z990. Там еще круче. Известно что в разные часы суток и/или дни недели (месяца года) загрузка бывает разной. Теперь мы можем расписать по часам, дням и т.д. когда сколько процессоров нам нужно. Без перезагрузки системы количество активных процессоров будет меняться и будет меняться цена за использование.

Как Вам такая масштабируемость - по часам?
Репу чесать вообще не надо.
Пока планировщики других систем подтягивались к тому чем был планировщик MVS, последний ушел далеко вперед. На сегодня в MVS мы имеем так называемый WLM - Work Load Manager. Последний имеет два режима - совместимости с тем как было до него, и так называемый Goal Mode - имеется в виду что вы ему определенным образом описываете цели важные для вашей рабочей нагрузки и WLM управляет приоритетами так чтобы максимально удовлетворить вашим целям. Приоритеты становятся переменными - зависят от обстановки, целей и как эти цели удовлетворяются.

tengiz · Post by **tengiz** » 05 Apr 2004 02:00

zVlad wrote:Кстати, мой вопрос, как Вы относитесь к тому что мощный сервер на Itanium несущий например БД немелкой компании до сих пор называется ПК (персональный компьютер) сервер? Ведь не одно это и тоже, правильно? Помню, в начале 80-х поручили мне провести курсы по программированию персонального компьютера Д3-28? Я тогда нашел определение ПК как "устройства все процессы в которых управляются и контролируются одним человеком". Или что-то в этом духе.

Машины на Itanium PC серверами не называют. А те, что делаются на 32-х битных интелах так называют всего лишь по инерции. Ещё 10 лет назад SEQUENT Symmetry можно было назвать PC лишь по недоразумению. А вообще-то дело в обратной совместимости. Любой так называемый "PC-сервер" до недавнего времени был в состоянии загрузиться с обычной дискеты, например, с MS-DOS 3.3 и выполнять программы написанные 20 лет назад. Только потому, что тянутся все необходимые для старой доброй операционной системы системные вызовы в BIOS и эмуляция/симуляция аппаратуры оригинальных PC/XT/AT.

zVlad · Post by **zVlad** » 05 Apr 2004 02:03

Strannik223 wrote:.......... тот же web farm перенесенный на МФ при хорошей нагрузке загнется. Или у МФ процессор резиновый?

Процессор у МФ почти резиновый как следует из вышеприведенного (z990 может иметь от одного до 32 процессоров).
Более того просто из-за того что ферма переносится на централизованную систему, централизованной системе нужны меньшие рессурсы. Это кстати справедливо для любой платформы, не только МФ (если конечно ОС адекватна).
В самом деле для балансирования загрузки скажем 20 серверов вам нужно иметь 21-ый, который будет лишь тем и заниматься что балансировать (21-ый может быть "размазан" по всем серверам равномерно).
Теперь представим что чтобы не иметь узких мест и чтобы компенсировать издержки неидеального балансировщика мы можем позволить не более 60% использования каждого отдельного сервера. На самом деле я думаю цифра должна быть даже меньше, ведь каждый сервер это 1/21 мощности всей нашей системы.
Таким образом мы используем лишь 12 серверов с идеальной 100% загрузкой.
А теперь вопрос: какой вычислительной мощностью должен располагать "центральный" компьютер если мы можем поднять рамку использования до 80% (а в этом случае мы можешь позволить и более высокий уровень загрузки).
Ответ: достаточно мощности эквивалентной 15-ти серверам.

zVlad · Post by **zVlad** » 05 Apr 2004 02:09

tengiz wrote:.........Любой так называемый "PC-сервер" до недавнего времени был в состоянии загрузиться с обычной дискеты, например, с MS-DOS 3.3 и выполнять программы написанные 20 лет назад. Только потому, что тянутся все необходимые для старой доброй операционной системы системные вызовы в BIOS и эмуляция/симуляция аппаратуры оригинальных PC/XT/AT.

7-ого апреля не забудьте поднять бакал в честь 40-летия ИБМ мэйнфрэймов, на современных представителях которых до сих пор без каких либо ограничений выполняются программы написанные 40 лет назад.
А в общем ситуация с неуместным названием "PC-сервер" конечно понятна.

tengiz · Post by **tengiz** » 05 Apr 2004 02:17

zVlad wrote:С AS/400 никогда не работал. Полагаю они были задуманы ИБМ-ом туда где сейчас RISC и мощные ПК обосновались. Не умерли конечно, живы.

У меня сложилось впечатление, что AS/400 и RISC - это две противоположности, хотя в том, что называется центральным процессором AS/400 действительно используются PowerPC. Согласно тому, что я знаю, AS/400 это что-то типа "маленького" мейнфрейма с тотальной совместимосью высокоуровневого псевдокода виртуальной машины, которую реализует центральный процессор, начиная от самых младших версий умещающихся в чемодане, и кончая монстрами в шкафах. Мои впечатления примерно 8-летней давности от ознакомления с архитектурой AS/400 до сих ещё не выветрились. Мне всегда было любопытно попробовать эту машину с весьма оригинальной архитектурой живьём.

zVlad · Post by **zVlad** » 05 Apr 2004 02:55

tengiz wrote:.......
У меня сложилось впечатление, что AS/400 и RISC - это две противоположности, хотя в том, что называется центральным процессором AS/400 действительно используются PowerPC. Согласно тому, что я знаю, AS/400 это что-то типа "маленького" мейнфрейма с тотальной совместимосью высокоуровневого псевдокода виртуальной машины, которую реализует центральный процессор, начиная от самых младших версий умещающихся в чемодане, и кончая монстрами в шкафах. Мои впечатления примерно 8-летней давности от ознакомления с архитектурой AS/400 до сих ещё не выветрились. Мне всегда было любопытно попробовать эту машину с весьма оригинальной архитектурой живьём.

С технической точки зрения да, AS/400 и RISC не много общего имеют, я имел в данном случае в виду рыночную нишу. И те и другие претендуют на одну и туже нишу на рынке.
ИБМ чем бы не занялся у них все как-то так получается "...типа "маленького" мейнфрейма". Если верит Вам это AS/400, я бы добавил OS/2 - типа "маленького" MVS. MicroChanel во времена появления ISA для ПК - аналог канала МФ. Token Ring - ну прямо терминалная подсистема 3270. А буквально сегодня промелькнуло LPAR на RS/6000, LPAR - logical partitioning, когда один бокс логически делится на несколько боксиков, со своей ОС в каждом. Технология аннонсированная в начале 90-х на МФ.
Получается ИБМ берет с МФ не только непосредствено от продаж их самих, но и от использования ихних технологий в совсем других областях.

f_evgeny · Post by **f_evgeny** » 05 Apr 2004 06:05

smesh wrote:Вроде бы не offtopic - мигрирую постепенно с M$:
- IE, Outlook -> Mozilla
- Studio -> Eclipse

Как заставить бегать не Windows ОДНОВРЕМЕННО с Windows (неужто 3GHz + 1Gb мало для какой-нибудь SVM + две ОСи? ). Посмотрел на coLinux, вроде бы оно, но больно уж раннее. Премного благодарствуйте.

Вы имеете в виду например Линукс?
Мне известны несколько решений этого:

1. ОС хозяин - Виндовс, ОС гость ЮНИКС
- Vmware - эмулятор машины (платный, триал версию на месяц дают бесплатно) работает нормально
- CygWin - перенос приложений юникс на Win32 платформу с использованием dll, эмулирующей UNIX API - свободный/бесплатный
- Есть еще POSIX подсистема от от MS (не уверен ни в названии ни в функциональности, но выполняет какие-то функции UNIX), платная.
2. ОС хозяин - UNIX (Linux, FreeBSD), ОС гость - Виндовс
- Vmware - эмулятор машины (платный, триал версию на месяц дают бесплатно) работает нормально
- Win4lin похоже на 1.
- Bochs - эмулятор процессора и машины (бесплатно), очень сырой
- Wine - эмулятор Windows API, для запуска приложений Win32 под Linux, возможно под FreeBSD, не уверен. Открытый, бесплатный, сырой.
- Есть еще решения, типа CrossOverOffice, позволяющие запускать Win32 приложения, но ничего определенного про них сказать не могу.
Ваших ресурсов должно хватать для любого из вышеперечисленных решений.

f_evgeny · Post by **f_evgeny** » 05 Apr 2004 06:11

tengiz wrote:
Strannik223 wrote:Нет, это секретный прием Ван-Дама: изматывание противника бегом
...при этом противник даже и не пытается догнать и побить. Я бы даже сказал, что всё совсем наоборот. Зато болельщики в восторге .

Мне кажется между нами существоует некоторое непонимание относительно позиций. А именно:
- Я утверждаю, что технически портирование таких UNIX-ов как Linux или NetBSD технически ЛЕГЧЕ, чем других ОС, например того же Windows NT
- Вы утверждаете, что портирование Windows NT, технически ВОЗМОЖНО.

tengiz · Post by **tengiz** » 05 Apr 2004 06:42

f_evgeny wrote:Мне кажется между нами существоует некоторое непонимание относительно позиций. А именно:
- Я утверждаю, что технически портирование таких UNIX-ов как Linux или NetBSD технически ЛЕГЧЕ, чем других ОС, например того же Windows NT
- Вы утверждаете, что портирование Windows NT, технически ВОЗМОЖНО.

f_evgeny, Вы можете утверждать то, что считаете нужным - я не против. Я только придираюсь к аргументации, в случае, если она не выдерживает критики. На мой взгляд, разумеется. Аргументация, которуя я лично видел практически вся притянута за уши и основана на недостаточном знании, недоразумениях или мифах. По сути дела единственный аргумент, который я не могу и не собираюсь оспаривать, это то, что по факту Windows разумеется не портирован на такое же количество платформ, как и Linux. Но это ровным счётом ни о чём не говорит. Портировать на одну сильно отличающуюся платформу или на десять - никакой принципиальной разницы нет. Если это не представляет сложности для одного порта, то это не проблема и для десяти других. Главный вопрос - а нужно ли это для массовой коммерческой ОС, при наличии однозначно доминирующей платформы? Вот отсюда и нужно плясать.

P.S. прочитал ещё раз Вашу фразу о "позициях" - Вы по-моему излишне серьёзно относитесь к нашим досужим разговорам. Судьба свободного софта для свободных людей, который то ли free beer, то ли free speech (до сих пор так и не пойму), здесь не решается, и мы не производственном совещании, чтобы настолько солидно здесь выступать с "позиций". Расслабьтесь и постарайтесь извлечь что-нибудь полезное лично для себя.