ELK docker image

[Сабина]

Пользуется кто нибудь ? Интересно в плане прикрутить для логов - сначала в DEV, потом убедив начальство в прод

https://elk-docker.readthedocs.io/

[Вячеслав Викторович]

Пользуется кто нибудь ? Интересно в плане прикрутить для логов - сначала в DEV, потом убедив начальство в прод

https://elk-docker.readthedocs.io/

мы пользуемся и не только для логов, но и для записи некоторых бизнес-обьектов в виде json-ов.
На практике разработчики все равно логи грепят, а не кибаной пользуются, а вот бизнес-аналисты вполне пользуются.

[Мальчик-Одуванчик]

У нас логсташ года два назад совсем не взлетел: сам по-себе процессорных ресурсов неслабо отжирал и какие-то косяки с захватом сокетов при нагрузке имели место. Хотя может и настроили криво. В результате получилось как в притче про систему обеспечения надежности, которая выводила из строя все другие системы.

[Вячеслав Викторович]

У нас логсташ года два назад совсем не взлетел: сам по-себе процессорных ресурсов неслабо отжирал и какие-то косяки с захватом сокетов при нагрузке имели место. Хотя может и настроили криво. В результате получилось как в притче про систему обеспечения надежности, которая выводила из строя все другие системы.

у нас нормуль вроде, но огроменных логов тоже нет. Вообще то filebeats парсит логи и шлёт в logstash, а уж он пишет в elasticsearch, т.е. logstash вообще не должен влиять на производительность.
ELK стэк то есть на отдельном кластере, а filebeats рaссыпаны по всей инфраструктуре, где логи пишутся. filebeat весьма лёгкий процесс и не должен жрать почти ничего.

[Мальчик-Одуванчик]

У нас логсташ года два назад совсем не взлетел: сам по-себе процессорных ресурсов неслабо отжирал и какие-то косяки с захватом сокетов при нагрузке имели место. Хотя может и настроили криво. В результате получилось как в притче про систему обеспечения надежности, которая выводила из строя все другие системы.

у нас нормуль вроде, но огроменных логов тоже нет. Вообще то filebeats парсит логи и шлёт в logstash, а уж он пишет в elasticsearch, т.е. logstash вообще не должен влиять на производительность.
ELK стэк то есть на отдельном кластере, а filebeats рaссыпаны по всей инфраструктуре, где логи пишутся. filebeat весьма лёгкий процесс и не должен жрать почти ничего.

У нас были проблеммы с клиентской частью, которая сливала логи. Если не запамятовал, то она тоже была от logstash. В штатном режиме клиент практически не потреблял ресурсов даже под нагрузкой, но в какие-то моменты терял сокеты и решал проблемму их отсутствия отжиранием новых, а прежние так и оставались залипшими. Когда все сокеты заканчивались, клиент уходил в штопор зацикливания и полностью отжирал ядро, заодно придавливая нитки сторонних приложений. За три-пять дней вся работающая система становилась раком.