Distributed logging

[Palych]

А что сейчас модно использовать для логов в приложениях работающих на кластерах?
Может какие-то супер быстрые и надежные NoSQL базы появились? Или плоские файлы по-прежнему незаменимы?

Хотелось бы сливать логи на один сервер, чтобы там можно было в них копаться.
Но чтобы процесс сливания был крайне незаметным для приложения. Необязательно очень быстро, главное чтобы надежно и минимум конфигурации для этого сливания...

Или лучше наоборот: давать всем серверам задание чтобы откопали что надо в своих логах?

[Dweller]

apache kafka перспективно
там и scala и компашка хорошая linkedin, netflix

[stenking]

А что сейчас модно использовать для логов в приложениях работающих на кластерах?
Может какие-то супер быстрые и надежные NoSQL базы появились?

Самое оно

https://www.elastic.co/products/logstash" onclick="window.open(this.href);return false;

А вот что бы эти логи смотреть и графики рисовать

https://www.elastic.co/products/kibana" onclick="window.open(this.href);return false;

[Palych]

Спасибо всем!
Интересные вещи.
Чем дальше думаю об этом, тем менее просто оно становится.

[Сабина]

А что сейчас модно использовать для логов в приложениях работающих на кластера?

ELK stack, а точнее Kibana ( пишу тут как в пустоту и на тебе )
У Кибаны Lucene search syntax если что

[Сабина]

Спасибо всем!
Интересные вещи.
Чем дальше думаю об этом, тем менее просто оно становится.

Почему ?
У нас 24 instances парсит данные каждый час. Руками по логам лазить - запаришься

[Palych]

Спасибо всем!
Интересные вещи.
Чем дальше думаю об этом, тем менее просто оно становится.

Почему ?
У нас 24 instances парсит данные каждый час. Руками по логам лазить - запаришься

Действительно, похоже elastic всё за нас сделает.
Спасибо за наводку!