MySQL под Solaris - есть знатоки?

[Каскыр]

Апач, кстати, компилится отказывается, ругается на ld

А не ld ли ругается на лишние ссылки на mod_ssl?

[Волчара]

ага, без ссл скомпилился
ну конфиг уже завтра буду править и пЧп компилять

[Каскыр]

ага, без ссл скомпилился
ну конфиг уже завтра буду править и пЧп компилять

Ccл, вобще-то, для кук нужен, чтобы кто сессию не сумел перехватить, если я правильно понял.

И насколько я помню, там бывают замороки с версиями ССЛ и Апача...

[Strannik223]

Ccл, вобще-то, для кук нужен, чтобы кто сессию не сумел перехватить, если я правильно понял.

И насколько я помню, там бывают замороки с версиями ССЛ и Апача...

Наверное имелось ввиду что если форум не использует ssl, то зачем его компилить

[Каскыр]

Ccл, вобще-то, для кук нужен, чтобы кто сессию не сумел перехватить, если я правильно понял.

И насколько я помню, там бывают замороки с версиями ССЛ и Апача...

Наверное имелось ввиду что если форум не использует ssl, то зачем его компилить

Наверное, это имелось в виду. Но если на форуме нажать пимпочку, то он будет использовать SSL.

[Siberian Cableman]

Каскыр,

В обшем-то я закончил с performance скриптом. Вот как это выглядит в результате
http://66.127.248.52/phpBB2/viewtopic.php?t=8 ( на 2-ой странице)

Я пока запускаю "разговор" только в одном топике. Пока Loading Scenario таков, что пользователь последоватено пишет Н постов ( сеичас Н = 3), каждый состоит из М уникальных слов (М = 10 сеичас), при этом при в каждом посте он подпысывается как анонимный пользователь с уникальным именем, плюс название темы каждый раз разное.

Я пока запускал сессию из 5 таких пользователей, но могу ( если машина ) потянет из 300.

[Волчара]

Ccл, вобще-то, для кук нужен, чтобы кто сессию не сумел перехватить, если я правильно понял.

И насколько я помню, там бывают замороки с версиями ССЛ и Апача...

Наверное имелось ввиду что если форум не использует ssl, то зачем его компилить

Наверное, это имелось в виду. Но если на форуме нажать пимпочку, то он будет использовать SSL.

Да какую кнопочку. SSL это для https, магазин что ли будет?

[Каскыр]

Да какую кнопочку. SSL это для https, магазин что ли будет?

А ну кто перехватит сессию, да от имени Волчары какую лабуду напишет?

[Волчара]

что то я не вижу в нонешнем привете https, плохо смотрю? Кому на фиг надо это

[vovap]

Я пока запускаю "разговор" только в одном топике. Пока Loading Scenario таков, что пользователь последоватено пишет Н постов ( сеичас Н = 3), каждый состоит из М уникальных слов (М = 10 сеичас), при этом при в каждом посте он подпысывается как анонимный пользователь с уникальным именем, плюс название темы каждый раз разное.

Посты очень короткие, а уникальныйх слов много - это нехарактерно.
Характерен будет пост, скажем из 30-50 слов из них не более 2-5 уникальных.
На 1 пост где нибудь 30 чтений с темпом скажем 1 пост в 3 секунды.
По-моему это будет что-то похожее на реальную загрузку в пивовое время.
Но тестировать для реальных выводов лучше на уже залитой базе натурального объема.

[vovap]

что то я не вижу в нонешнем привете https, плохо смотрю? Кому на фиг надо это

Там где Борис денежки собирает через кредит кард он есть - нажмите на "Credit Card" кнопочку в окне поста.

[Siberian Cableman]

Ради бога, у меня почти все готово. Webload наш друг

Такой вопрос еще, пусть у нас база 50 Гигов например. при таком обьеме, какое количество активных постов разумно брать, ну тех когда на одного пишушего, 30 читаюших? Борис когда-то писал что в день количество постов зашкаливало за 10.000, что примерно 600 в час в час-пик, наверное. Т.е для 10 минутного (для начала) теста нам надо допустим 100 пишуших и 3000 читаюших. Так вроде получаеться? Многовато.

Ну и в догонку, 10.000 постов, ето наверное около 150-200 топиков. Насколько велик будет уход от реальности если вместо такого количества постить только в 20 топиков, например.

[vovap]

Такой вопрос еще, пусть у нас база 50 Гигов например. при таком обьеме, какое количество активных постов разумно брать, ну тех когда на одного пишушего, 30 читаюших? Борис когда-то писал что в день количество постов зашкаливало за 10.000, что примерно 600 в час в час-пик, наверное. Т.е для 10 минутного (для начала) теста нам надо допустим 100 пишуших и 3000 читаюших. Так вроде получаеться? Многовато.

Ну и в догонку, 10.000 постов, ето наверное около 150-200 топиков. Насколько велик будет уход от реальности если вместо такого количества постить только в 20 топиков, например.

База гораздо меньше 50G - впрочем для теста это не важно.
Я не думаю, что число уникальных юзеров и даже топиков имеет значение - по-моему только темп постов и чтений.
То- есть получается десять чтений в секунду и пост - каждые 3.
Надо еще у Бориса переспросить, а то я оторвался несколько.

[Siberian Cableman]

да с 50 Гигами, я загнул. Это у нас с математикой плохо

[Каскыр]

ага, без ссл скомпилился
ну конфиг уже завтра буду править и пЧп компилять

Так что, можно считать, что самого правильного апача собрано не будет?

frontend:~. last |grep volchara
volchara pts/4 65.202.51.34 Mon Feb 9 18:42 - 22:49 (04:07)
volchara pts/4 65.202.51.34 Mon Feb 9 17:55 - 18:42 (00:46)
volchara pts/3 65.202.51.34 Mon Feb 9 17:50 - 21:13 (03:23)
frontend:~.

А по поводу загрузки - вот что происходит на другой машине:
load averages: 0.02, 0.02, 0.02 xxxxx 15:13:24
53 processes: 51 sleeping, 1 stopped, 1 on cpu
CPU states: 99.8% idle, 0.2% user, 0.0% kernel, 0.0% iowait, 0.0% swap
Memory: 1024M real, 854M free, 97.9M swap in use, 9.7G swap free

PID USERNAME THR PR NCE SIZE RES STATE TIME FLTS CPU COMMAND
384 nobody 1 59 0 14.4M 9448K sleep 0:02 0 1.19% httpd
281 nobody 1 59 0 11.9M 8544K sleep 0:00 0 0.24% httpd
438 root 1 59 0 2608K 1584K cpu00 0:00 0 0.21% top
309 root 1 59 0 122M 10.4M sleep 0:00 0 0.03% Xsun
383 mysql 9 59 0 33.4M 15.2M sleep 0:00 0 0.02% mysqld
328 root 1 59 0 4504K 2672K sleep 0:01 0 0.00% sshd
299 root 2 59 0 2664K 2008K sleep 0:01 0 0.00% vold
284 nobody 1 59 0 14.1M 9264K sleep 0:00 0 0.00% httpd
283 nobody 1 59 0 11.9M 8504K sleep 0:00 0 0.00% httpd
327 nobody 1 59 0 10.9M 7408K sleep 0:00 0 0.00% httpd
287 nobody 1 59 0 10.6M 7000K sleep 0:00 0 0.00% httpd
326 root 1 59 0 7928K 4920K sleep 0:00 0 0.00% dtgreet
277 root 1 59 0 7712K 4424K sleep 0:00 0 0.00% httpd
282 nobody 1 59 0 7816K 3152K sleep 0:00 0 0.00% httpd
313 root 1 59 0 6496K 2920K sleep 0:00 0 0.00% dtlogin


Другими словами - всё равно заюзан тот - же объём памяти, и всё равно юзается своп, не смотря на то, что 800 с лишним мег памяти свободно. И от процессора юзается всего 0.2 процента ресурсов (когда ты на той машине компилял, загрузка доходила аж до шести процентов)

[Privet]

Такой вопрос еще, пусть у нас база 50 Гигов например. при таком обьеме, какое количество активных постов разумно брать, ну тех когда на одного пишушего, 30 читаюших? Борис когда-то писал что в день количество постов зашкаливало за 10.000, что примерно 600 в час в час-пик, наверное. Т.е для 10 минутного (для начала) теста нам надо допустим 100 пишуших и 3000 читаюших. Так вроде получаеться? Многовато.

Ну и в догонку, 10.000 постов, ето наверное около 150-200 топиков. Насколько велик будет уход от реальности если вместо такого количества постить только в 20 топиков, например.

База гораздо меньше 50G - впрочем для теста это не важно.
Я не думаю, что число уникальных юзеров и даже топиков имеет значение - по-моему только темп постов и чтений.
То- есть получается десять чтений в секунду и пост - каждые 3.
Надо еще у Бориса переспросить, а то я оторвался несколько.

10000 в день - многовато. Вы столько не напишите

Я бы сказал, примерно 1000 постов в день, но они распределены крайне неравномерно.

Разумный тест будет, наверное таким:

Средний темп чтения - 3 запроса в секунду. (index.php,viewforum.php,viewtopic.php)
Посылка топиков - 2 в минуту. (posting.php)
Редактирование топиков - 1 в минуту. (posting.php)
Поиск - 2 в минуту (search.php)

Достаточно большая часть сообщений редактируется как минимум раз.

Надо ещё добавить дополнительную нагрузку - просмотр картинок и небольшой трафик по другим сайтам и страницам, которые живут на Привете.

http://bugor.com (замкнут на privet.com/forum)
http://haifa.privet.com
http://kedry.privet.com
http://interballetschool.com

Объём базы (общий) 2ГБ.

Кстати, Яндекс "полюбил" почему-то Бугор и часто приходит его сканировать. Сканер у них нахальный и генерит очень большую нагрузку. У меня стоят ограничители нагрузки, поэтому, "забить" сайт не так просто.

Иногда некоторые орлы запускают автоматические скачивалки. Они частично режутся, но всё равно, могут создать приличную нагрузку. Некоторые браузеры создают нагрузку, схужую со скачивалками, но на короткий период времени. От этой нагрузки я тоже частично отбиваюсь. Узкий канал в этом случае играет положительную роль

Все эти вещи тоже хорошо бы учесть в идеальном тесте. Вообще, пока нагрузка штатная - проблем особых нет. Когда накладываются друг на друга несколько тяжелях запросов, что при такой активности весьма вероятно, могут возникнуть проблемы.

Обычно, перегружается БД. Количество необработанных запросов растёт, время обработки каждого запроса, соответственно, тоже увеличивается. IIS настроен на определённое число запросов, точнее threads. Как только их количество превышает порог - сервер в коме. Он просто не отвечает. Если этот порог поднять, то в кому первым уходит MySQL, а клиенту выдаётся critical error. Это неприятнее. Поэтому, порог стоит ниже этого предела.

Всё это очень кратко. Если у кого-то из админов есть идеи по оптимизации системы - welcome, можем обсудить.

Сегодня завтра создам тестовую двухсерверную конфигурацию. Может быть, даже запущу её в работу. Теоретически, согласно моим познаниям, это должно помочь, особенно, с увеличением дисковой ёмкости. Посмотрим...

[Каскыр]

Народ, я гашу сервер - надо освободить место для празднования Валентайнс Дэй.
Борис, какой IP адрес ему ставить?

[vovap]

Сегодня завтра создам тестовую двухсерверную конфигурацию. Может быть, даже запущу её в работу. Теоретически, согласно моим познаниям, это должно помочь, особенно, с увеличением дисковой ёмкости. Посмотрим...

Неплохо было бы затестить до и после.

[VladStar]

Так что, можно считать, что самого правильного апача собрано не будет?

А что за проблемы с SSL ? Модуль, что-ли не компилится ?
Или SSL пытаетесь прямо в демона вкомпилить ?

Другими словами - всё равно заюзан тот - же объём памяти, и всё равно юзается своп, не смотря на то, что 800 с лишним мег памяти свободно. И от процессора юзается всего 0.2 процента ресурсов (когда ты на той машине компилял, загрузка доходила аж до шести процентов)

А /tmp, случаем, не в swap-партицию смотрит ?

[Каскыр]

Так что, можно считать, что самого правильного апача собрано не будет?

А что за проблемы с SSL ? Модуль, что-ли не компилится ?
Или SSL пытаетесь прямо в демона вкомпилить ?

Есть желание помочь Волчаре?
У меня Apache 2 собрался без проблем, со всеми необходимыми модулями. Но Волчара решил собрать свой вариант, более правильный по его мнению. Если Вы разделяете его мнение - можете приложить руку, будем только благодарны.

Другими словами - всё равно заюзан тот - же объём памяти, и всё равно юзается своп, не смотря на то, что 800 с лишним мег памяти свободно. И от процессора юзается всего 0.2 процента ресурсов (когда ты на той машине компилял, загрузка доходила аж до шести процентов)

А /tmp, случаем, не в swap-партицию смотрит ?

Естественно, туда - это значительно ускоряет операции, связанные с временными файлами по сравнению с конфигурацией, при которой /tmp размещается на обычной UFS. И в /tmp было достаточно много накачано сорцов с FTP серверов, так что подмеченное Волчарой использование свопа не факт, что продиктовано нехваткой памяти. Да даже если бы своп активно использовался, это фигня, и погоды не делает: всё равно каждый запрос к вебу генерирует использование диска как самим веб - сервером, так и сервером базы данных. Коенчно, чем больше памяти, тем лучше, иначе при очень интенсивной нагрузке можно довести систему до того, что она будет пузом по полу ёрзать. Но, что важно - оставаться полностью функциональной, хоть и очень медленной.

Что же касается использования свопа, вот что на этот счёт написано в документации:

The Solaris environment is a demand paged virtual memory system. As the system runs, pages are brought into memory as needed. When memory becomes occupied above a certain threshold and demand for memory continues, paging begins. Paging goes through several levels that are controlled by certain variables.

The general paging algorithm is as follows:

A memory deficit is noticed. The page scanner thread runs and begins to walk through memory. A two-step algorithm is employed:

A page is marked as unused.

If still unused after a time interval, the page is viewed as a subject for reclaim.

If the page has been modified, a request is made to the pageout thread to schedule the page for I/O and the scanner continues looking at memory. Pageout causes the page to be written to the page's backing store and placed on the free list. When scanning memory, no distinction is made as to the origin of the page. It may have come from a data file, or it might represent a page from an executable's text, data, or stack.

As memory pressure on the system increases, the algorithm becomes more aggressive in the pages it will consider as candidates for reclamation and in how frequently the paging algorithm runs. (See fastscan and slowscan for more information.) As available memory falls between the range lotsfree and minfree, the system will linearly increase the amount of memory scanned in each invocation of the pageout thread from the value specified by slowscan to the value specified by fastscan. The system uses the desfree variable to control a number of decisions about resource usage and behavior.

The system also attempts to constrain itself to use not more than 4% of one CPU for pageout operations. The algorithm is to look through some amount of memory between slowscan and fastscan, and stop when one of the following occurs:

Enough pages have been found to satisfy the memory shortfall.

The planned number of pages have been looked at.

Too much time has elapsed.

If a memory shortfall is still present when pageout finishes its scan, another scan is scheduled for 1/4 second in the future.

[VladStar]

Есть желание помочь Волчаре?
У меня Apache 2 собрался без проблем, со всеми необходимыми модулями. Но Волчара решил собрать свой вариант, более правильный по его мнению. Если Вы разделяете его мнение - можете приложить руку, будем только благодарны.

Если нужна моя помощь - без проблем. Вопрос - что даст новая версия, по сравнению с имеющейся ? Что входит в понятие "более правильный", и стоит ли вообще овчинка выделки ? Ну и, естественно, что за проблемы возникли со сборкой новой версии ?

Другими словами - всё равно заюзан тот - же объём памяти, и всё равно юзается своп, не смотря на то, что 800 с лишним мег памяти свободно. И от процессора юзается всего 0.2 процента ресурсов (когда ты на той машине компилял, загрузка доходила аж до шести процентов)

А /tmp, случаем, не в swap-партицию смотрит ?

Естественно, туда - это значительно ускоряет операции, связанные с временными файлами по сравнению с конфигурацией, при которой /tmp размещается на обычной UFS.

Да это все понятно, это было моим предположением на фразу "всё равно юзается своп". Я предположил, что в приведенном куске top'а, "swap in use" как раз и отражает использование swap'а для временных файлов в /tmp, нежели для memory paging'а.

[Каскыр]

Есть желание помочь Волчаре?
У меня Apache 2 собрался без проблем, со всеми необходимыми модулями. Но Волчара решил собрать свой вариант, более правильный по его мнению. Если Вы разделяете его мнение - можете приложить руку, будем только благодарны.

Если нужна моя помощь - без проблем. Вопрос - что даст новая версия, по сравнению с имеющейся ? Что входит в понятие "более правильный", и стоит ли вообще овчинка выделки ? Ну и, естественно, что за проблемы возникли со сборкой новой версии ?

Эти все вопросы исключительно к Волчаре.

[Siberian Cableman]

Каскыр, Борис,

Чем история-то закончилась? Кому память слать ?

- Cableman

[Каскыр]

Каскыр, Борис,

Чем история-то закончилась? Кому память слать ?

- Cableman

Шлите Борису - история ещё не закончилась...
Я отъезжал на недельку. Форум поправился, чувствует себя хорошо, потому я и не торопился с отсылкой...