Кормилец - спасибо огромное. С меня бесплатный обед. Я сейчас гляну в этом направлении - по результату отпишусь с оказией после праздников.helg wrote:Сокету для коннекшина нужен порт, а не IP. С одного клиентского хоста можно открыть тысячу сокетов на 80й порт сервера. У всех этих сокетов будет один IP, но разные порты на стороне клиента. Так что может и не надо много IP?
Если таки надо, и всё внутри одного хоста, то 127.*.*.* даёт достаточно адресов - они все идут на localhost.
А если наружу, то в случае linux в eth0 (ну или какое имя ifconfig показывает), есть витруальные интерфейсы eth0:0, eth0:1,... - и адреса добавляются командами типа:
# ifconfig eth0:0 192.168.1.100 netmask 255.255.255.0
# ifconfig eth0:1 192.168.1.101 netmask 255.255.255.0
[..]
Likenew wrote:а вы docker не пробовали? Там каждый имаге имеет свой ИП. Амазон вам может влететь в копеечку.
Code: Select all
struct sockaddr_in local; /* socket info about our local */
int mysocket; /* socket used to send/receive */
socklen_t socksize = sizeof(struct sockaddr_in);
memset(&local, 0, sizeof(local)); /* zero the struct before filling the fields */
local.sin_family = AF_INET; /* set the type of connection to TCP/IP */
local.sin_addr.s_addr = htonl(<один из ip адресов локальной NIC card goes here>); /* set our address to any interface */
local.sin_port = htons(<порт от 1024 и до 65К goes here>); /* set the local port number */
/* create socket */
mysocket = socket(AF_INET, SOCK_STREAM, 0);
/* bind local information to mysocket */
bind(mysocket, (struct sockaddr *)&local, sizeof(struct sockaddr));
/* other steps */
select упрется в FD_SETSIZE (обычно 1024) так что больше 1000 коннетов на процесс селектом не получится. Лучше epoll, но много кода писать самому. Еще лучше взять готовый wrk (https://github.com/wg/wrk" onclick="window.open(this.href);return false;) и пользоваться.Леонид Ильич Брежнев wrote: Только пожалуйста не создавайте тысячи средов на одной машине по одному на каждую комбинацию ip:port, используйте select
Когда я тестировал нагрузку до 150тыс одновременных коннектов на сервак - я напиcал скрипт, который разгонял на 10 реальных разных коробках с Линуксом внутри по 15к клиентов. Практически на каждой системе есть ограничения на кол-во сокетов/FD, поэтому разогнать такое число (150к) на одной системе малореально (сам сервак на Фре пришлось тюнить и максимизировать память).Sergunka wrote:В общем любые соображения велком вплоть до болезненных
Это теория, а на практике все зависит от количества памяти, операционной системы и ее конфигурации.Леонид Ильич Брежнев wrote: Когда один ip address полностью исчерпает все порты, на той же машине нужно будет добавить второй ip адресс и так далее.
Т.е. условно, если есть 10 ip адресов и 50 тыс. свободных портов, то можно создать до 500 тыс. outgoing ресурсов. Далее мы упираемся в NIC карточку/карточки, поскольку там данные пихаются хоть и быстро (для 1G NIC карточки), но последовательно.
А можно ли сбацать на коленке примитивный симулятор симулятора? Ну типа чтото запускается на отдельной треде, присоединяется к серваку, шлет http(s) запрос(ы) на слушателя, получает ответ, отрубает коннект, засыпает на случайное время, просыпается и снова долбит?Sergunka wrote:Ребята спасибо офигено. Я думаю, что я попытаюсь просто тупорыло запускать по порту. По условиям задачи у меня все одно больше 8 сокетов на один бокс не получится так как сам симулятор требует дофига памяти.
Это предложение оказалось решающим на спрингбуте оказалось порт модифицируется параметром при вызове так, что я легко пусканул 27 серверов типо томкет у себе на маке и показал ошеломленной индусской массе как это должно выглядить.helg wrote:Сокету для коннекшина нужен порт, а не IP. С одного клиентского хоста можно открыть тысячу сокетов на 80й порт сервера. У всех этих сокетов будет один IP, но разные порты на стороне клиента. Так что может и не надо много IP?
Дельный совет. Спасибоfruit6 wrote:Сожрут вас индусы с потрохами. Скажите что случайно стерли навсегда. Но можете в рабочее время восстановить по памяти если назначат самым главным и повысят в должности
Если только Кафка там стоит и на нее приходит от коньсюмеров, тоThere are no any limits set by AWS. I was able to handle 1 million concurrent connections on single EC2 instance using my custom Erlang based server software. The only limit is available RAM on the instance.
С RDS соответсвенно другая песняI know for Kafka servers, they typically go to 300K concurrent inbound connections to a single server process. They can go upper, but the performance gain is less interesting while stability concerns start to exist, e.g. the NIO selector starts to bear overhead.
Задача второго закона термодинамикиСабина wrote:Интересно какая практическая задача решалась таким тестированием ?
Энтропия. Второй закон связан с понятием энтропии, являющейся мерой хаоса (или мерой порядка). Второй закон термодинамики гласит, что для вселенной в целом энтропия возрастает. Оба определения второго закона термодинамики опираются на первый закон термодинамики, утверждающий, что энергия убывает.
Я не могу эти данные опубликовать согласно NDA... увы. В данном случае я использую статью в блоге, чтоб забить первенство в подходе. Собственно статья только об этом какой подход я использую для генерации устройств, сенсоров и задания метрики сенсора и там много чего по мелочам.Леонид Ильич Брежнев wrote:Ты меня прости конечно, но статья не о чем. Ты бомбардируешь что-то небольшим по размеру json-ом. Ну ок. Ничего не известно, ни о топологии на другом конце, ни о том, как это обрабатывается (может ты всегда HTTP 200 возвращаешь), нету ни application level метрик, ни аналогичных системных метрик. Нету информации о системных параметрах, если это важно. Нету интересных графиков зависимости размера payload (json в твоем случае), как функция количества запросов и лайтенси. В общем это тебе видимо понятно, но использовать эту информацую как-то еще довольно проблематично.
Я не ставил себе задачу рассказать как и что там делается. Моя задача была очень простой забить подход в открытой публикации и дать как можно меньше информации подражателямЛеонид Ильич Брежнев wrote:Прости, подход в чем? Из статьи невозможно даже понять, что генеририруешь ты на стороне нагрузки, т.е. load generator, по крайней мере именно это мы тут обсуждали. Ну т.е. если знать контент то можно понять что своим http://localhost...." onclick="window.open(this.href);return false;? ты задаешь параметры генерации. Графики, кстати с трудоим читаемые, и не совсем понятно, что у нас от чего.
Извини, это внешнее впечатление.
Ну хорошо, если мы тут помогли в какой-то большей политике.Sergunka wrote:Собственно я и хотел услышать подобного рода ревью, что нихрена не понятно как там чего делается - это было изначально так и задумано. Это просто часть так сказать корпоративного игры. К слову сказать мой блог ненавидят, но пока закрыть не могут. Уже открыто пишут в легал департмент с просьбами разобраться с блогом
В данном случае дарагой ЛИБ тремя словами и предлогом выразил все то, что я бы изливал словесным поносом на три экрана.Леонид Ильич Брежнев wrote:Прости, подход в чем?