MySQL под Solaris - есть знатоки?

Siberian Cableman · Post by **Siberian Cableman** » 10 Feb 2004 01:34

Ладно каждый останется при своем мнении. Жизнь рассудит.

Вы хотите, что бы я выслал Вам память по почте, или Борис сам ее вставит здесь когда машина прийдет? Если первое, то пришлите мне свой адрес.

Каскыр · Post by **Каскыр** » 10 Feb 2004 01:41

Siberian Cableman wrote:Вы хотите, что бы я выслал Вам память по почте, или Борис сам ее вставит здесь когда машина прийдет? Если первое, то пришлите мне свой адрес.

Лучше Борису - сервер готов, можно высылать. В принципе, и 256 мег достаточно, но ещё 256 не помешает. Спасибо!

Волчара · Post by **Волчара** » 10 Feb 2004 02:01

mbabayan wrote:
f_evgeny wrote:
mbabayan wrote:А может сменить веб-сервер на Win32 apache, и использовать модуль PHP ? тогда от оверхеда, связнанного с созданием процесса на каждый запрос, можно было бы избавиться.

Я думаю, что если это не апач 2, это не поможет. Так как апач 1.3 все равно на каждого клиента порождает процесс. На Юниксе это нормально, на Win32 нужно то же самое делать на тредах. Вроде Апач 2 так и сделан, хотя я win32 особо не интересуюсь.

Точно уже не помню, но по моему Апач 1.3 на вине делал это тредами.
Апач 2 - точно не порождает новых процессов, недавно его ставил и конфигурил под него РНР, правда для девелопмента, а не продакшн.

второй апач на юнихе можем быть использован как preforked, так и worker MPM model, по умолчанию ставится preforked. Плохо вы ставили. PHP во второй версии не работает c worker пока что.

Ваще мне ужасно интересно - откуда такая уверенность, что боттлнек в процессоре. Я бы первым делом грешил на недостаток мозгов. Нормальное явление для нагруженного апача - на каждый запрос стартует новый child, посему первым делом не хватает мозгов. Решается это дело компиляцией под worker, тогда это запускается многотредово. К сожалению php не работает с этой worker.

Правильное решение, конечно, разнести по серверам, тогда как минимум можно будет определить кто виноват.

Сколько вообще открытых tcp connections? сколько одновременно httpd бежит? зачем нужен mod_ssl? кстати он есть под второй апач - смотрите внимательно

Стоит оптимизировать кернел. Какая версия стоит?

Но в общем 256 метров памяти - я б выделил с гигабайт свопа :oops:

Если не два

Каскыр · Post by **Каскыр** » 10 Feb 2004 02:06

Волчара wrote:
mbabayan wrote:
f_evgeny wrote:
mbabayan wrote:А может сменить веб-сервер на Win32 apache, и использовать модуль PHP ? тогда от оверхеда, связнанного с созданием процесса на каждый запрос, можно было бы избавиться.

Я думаю, что если это не апач 2, это не поможет. Так как апач 1.3 все равно на каждого клиента порождает процесс. На Юниксе это нормально, на Win32 нужно то же самое делать на тредах. Вроде Апач 2 так и сделан, хотя я win32 особо не интересуюсь.

Точно уже не помню, но по моему Апач 1.3 на вине делал это тредами.
Апач 2 - точно не порождает новых процессов, недавно его ставил и конфигурил под него РНР, правда для девелопмента, а не продакшн.

второй апач на юнихе можем быть использован как preforked, так и worker MPM model, по умолчанию ставится preforked. Плохо вы ставили. PHP во второй версии не работает c worker пока что.

Ваще мне ужасно интересно - откуда такая уверенность, что боттлнек в процессоре. Я бы первым делом грешил на недостаток мозгов. Нормальное явление для нагруженного апача - на каждый запрос стартует новый child, посему первым делом не хватает мозгов. Решается это дело компиляцией под worker, тогда это запускается многотредово. К сожалению php не работает с этой worker.

Правильное решение, конечно, разнести по серверам, тогда как минимум можно будет определить кто виноват.

Сколько вообще открытых tcp connections? сколько одновременно httpd бежит? зачем нужен mod_ssl? кстати он есть под второй апач - смотрите внимательно

Стоит оптимизировать кернел. Какая версия стоит?

Но в общем 256 метров памяти - я б выделил с гигабайт свопа Если не два

Свопа там сейчас два гигабайта. Стоит и второй апач, и первый. Сейчас крутится первый апач, MySQL, phpBB. Детали можно прямо там и пообсуждать, заодно и оттестируем: http://66.127.248.52/phpBB2/index.php

Волчара · Post by **Волчара** » 10 Feb 2004 02:17

у вас что нить запущено мониторинговое? Я могу стресс тул напустить, посмотрим как быстро завалит

А так там тестировать нечего.

Для вебсерверов рекомендую мониторить
- количество одновременно открытых коннектов
- количество процессов
- память
- процессор

Как раз процессор самая фигня тут.

Волчара · Post by **Волчара** » 10 Feb 2004 02:19

И да, второй апач в любом случае лучше первого. Кстати можете бросить как вы его компиляли. А также выкинуть все лишние модули из конфига

Каскыр · Post by **Каскыр** » 10 Feb 2004 02:35

Спасибо Волчара, проверьте приват!

Волчара · Post by **Волчара** » 10 Feb 2004 02:52

поставить для начала топ - ну как так жить можно

vovap · Post by **vovap** » 10 Feb 2004 02:59

Волчара wrote:у вас что нить запущено мониторинговое? Я могу стресс тул напустить, посмотрим как быстро завалит

Это было бы очень интересно.
Тока как Вы будите делать им посты?
А только чтение не столь интересно.

Каскыр · Post by **Каскыр** » 10 Feb 2004 03:00

Волчара wrote:поставить для начала топ - ну как так жить можно

use talk и будет Вам щасте.

Волчара · Post by **Волчара** » 10 Feb 2004 03:51

vovap wrote:
Волчара wrote:у вас что нить запущено мониторинговое? Я могу стресс тул напустить, посмотрим как быстро завалит

Это было бы очень интересно.
Тока как Вы будите делать им посты?
А только чтение не столь интересно.

посты им так просто не сделаешь, хотя тоже можно. Но на данный момент меня волнуют не посты, а насколько будет живуч сам сервер в данной конфигурации.

Каскыр · Post by **Каскыр** » 10 Feb 2004 03:55

Волчара wrote:
vovap wrote:
Волчара wrote:у вас что нить запущено мониторинговое? Я могу стресс тул напустить, посмотрим как быстро завалит

Это было бы очень интересно.
Тока как Вы будите делать им посты?
А только чтение не столь интересно.

посты им так просто не сделаешь, хотя тоже можно. Но на данный момент меня волнуют не посты, а насколько будет живуч сам сервер в данной конфигурации.

Cтепень живучести всё равно будет зависеть в основном от характера нагрузки, так что здесь не всё так просто... Если как сейчас будет затыкаться MySQL в процессе постинга, то миллионы отрабатываемых апачем запросов ничего не покажут.

Волчара · Post by **Волчара** » 10 Feb 2004 04:05

на сто читающих один пишущий. В основном загрузка сервера в данной конфигурации будет определяться нехваткой памяти. А ее съедят многочисленные детишки апача

Каскыр · Post by **Каскыр** » 10 Feb 2004 04:17

Волчара wrote:на сто читающих один пишущий. В основном загрузка сервера в данной конфигурации будет определяться нехваткой памяти. А ее съедят многочисленные детишки апача

Ну так в чём проблема?
Мы же договорились, что Вы построите ещё один Апач в своей конфигурации, а ещё 256 мег подъедут... И своп сегодня будет расширен до 4 гигабайт.

Волчара · Post by **Волчара** » 10 Feb 2004 04:22

Каскыр wrote:
Волчара wrote:на сто читающих один пишущий. В основном загрузка сервера в данной конфигурации будет определяться нехваткой памяти. А ее съедят многочисленные детишки апача

Ну так в чём проблема?
Мы же договорились, что Вы построите ещё один Апач в своей конфигурации, а ещё 256 мег подъедут... И своп сегодня будет расширен до 4 гигабайт.

Дык я строю

уже 4 новых пакета поставил гнутых. Только 512 все равно мало. У меня в продакшене стоит кластер из пяти санов, с гигом на каждом. В утренние часы своп регулярно убегает под 1 гиг.
А вебсервер, работающий на своп - это дохлый вебсервер.
Ну посмотрим как оно будет, может я и не прав.

Уроды эти в пхп, никак не могут свою библиотеку под треды сделать

vovap · Post by **vovap** » 10 Feb 2004 04:24

Волчара wrote:на сто читающих один пишущий. В основном загрузка сервера в данной конфигурации будет определяться нехваткой памяти. А ее съедят многочисленные детишки апача

Мозгов вроде добавят. На одного пишушего скажем 30 читающих - но нагрузку он генерирует за них всех. Особенно если мозгов много и много базы влезет в кеш - чтение-то из кеша, а вот физическую запись никто не отменит.

Волчара · Post by **Волчара** » 10 Feb 2004 04:28

насколько я понял, основная проблема не в добавлении записи в майсиквел, а в добавлении записи в файл поиска в phpbb. А тут то как раз вся проблема упирается в апач и нехватку памяти

vovap · Post by **vovap** » 10 Feb 2004 04:34

Волчара wrote:насколько я понял, основная проблема не в добавлении записи в майсиквел, а в добавлении записи в файл поиска в phpbb. А тут то как раз вся проблема упирается в апач и нехватку памяти

Нет, Вы поняли неверно. Нет никакого файла поиска. Есть две таблици базы - в них и происходит добавление (для дальнейшего поиска)
Все стоит на базе, не на файлах

Каскыр · Post by **Каскыр** » 10 Feb 2004 04:39

Волчара wrote:Дык я строю уже 4 новых пакета поставил гнутых. Только 512 все равно мало. У меня в продакшене стоит кластер из пяти санов, с гигом на каждом. В утренние часы своп регулярно убегает под 1 гиг.

Тю! У нас только QA по 8 гиг основной памяти сжирает как не фик делать. Было бы больше - и её бы сжирали, можете не сомневаться. Памяти никогда не бывает много - прям закон Паркинсона.

Волчара · Post by **Волчара** » 10 Feb 2004 04:42

vovap wrote:
Волчара wrote:насколько я понял, основная проблема не в добавлении записи в майсиквел, а в добавлении записи в файл поиска в phpbb. А тут то как раз вся проблема упирается в апач и нехватку памяти

Нет, Вы поняли неверно. Нет никакого файла поиска. Есть две таблици базы - в них и происходит добавление (для дальнейшего поиска)
Все стоит на базе, не на файлах

Да, нашел

Наибольшая проблемма в базой - система поиска. Для ее обеспечения каждый пост при посте парсится на слова. они проверяются по таблице уникальных лексических элементов, если нет - заносятся туда. И ID слов заносятся в таблицу соответствия слов-постов. Потом на этом работает поиск.

Остался вопрос кто парсит посты. Если это в апаче - виноват апач с пхп, в любом случае очень сомнительно, что майсиквел виноват. Вместо гадания лучше бы всего посмотреть конкретную загрузку какие процессы это вызывают

Каскыр · Post by **Каскыр** » 10 Feb 2004 04:57

Волчара wrote:Остался вопрос кто парсит посты. Если это в апаче - виноват апач с пхп, в любом случае очень сомнительно, что майсиквел виноват.

Может php и врёт, но он говорит, что Error: can not connect to database. :pain1:

А может что ему файловых дескрипторов на сокеты, например, не хватает, а вовсе и не памяти, или ещё какая причина...

Вместо гадания лучше бы всего посмотреть конкретную загрузку какие процессы это вызывают

У Вас top для винды есть?

vovap · Post by **vovap** » 10 Feb 2004 04:58

Волчара wrote:Остался вопрос кто парсит посты. Если это в апаче - виноват апач с пхп, в любом случае очень сомнительно, что майсиквел виноват. Вместо гадания лучше бы всего посмотреть конкретную загрузку какие процессы это вызывают

Парсит pHp. Загрузку мы смотрели, на основании этого и сделали выводы, но еще посмотреть, разумеется не лишне - тем более на другой платформе. Сейчас форум стоит на IIS и Windows 2000

vovap · Post by **vovap** » 10 Feb 2004 05:00

Каскыр wrote:У Вас top для винды есть?

Ну для Windows мы это и так умеем

Каскыр · Post by **Каскыр** » 10 Feb 2004 05:03

vovap wrote:
Каскыр wrote:У Вас top для винды есть?

Ну для Windows мы это и так умеем

Так вопрос был не к вам.

Волчара · Post by **Волчара** » 10 Feb 2004 05:20

ну на винде можно и не топом смотреть. Скока я помню - я винды стараюсь не трогать :nono#:

И ваще, че показала загрузка, которую смотрели? Апач, кстати, компилится отказывается, ругается на ld