Тернистый путь к системе логирования Graylog

Статья направлена на обзор очень универсальной системы логирования, примеры и практический опыт наводит через призму вселенной .NET / .NET Core. Но верю, что эта информация может помочь всем без исключения, кто ищет системы такого класса.

С чего начинается сбор логов в любом проекте? Из того, что однажды ваш продукт, хорошо и стабильно работает, перестает быть таковым, а ответа на вопрос «почему?» У вас нет. И мы не имеем в виду систему в продакшн-среде: это может быть даже beta-демка, MVP и другие варианты доказательства правильности концепции вашей будущей системы. Вот в такие моменты и появляются логи.
Обычно в виде файлов в директории Log рядом с бинарными файлами вашего продукта. Конечно, опытный программист сразу привлекает удобный и мощный фреймворк для логирования, например log4net, как сделали мы. Теперь всю важную информацию в читабельном и хорошо структурированном виде разложено на уровнях Error, Warn, Info и Debug, и разработчики / администраторы / техническая поддержка системы имеют ответы на все вопросы и могут решить любую проблему.

В нашем случае системой, в которой большое значение имели качественные логи, был веб-сервис, написанный, как вы могли догадаться, на .NET Framework и размещен в IIS на едином сервере. Все логи писали на отдельный диск и были разделены на отдельные файлы в соответствии с подсистем (incoming requests, Web API, engine и outcoming requests). На первое время этого было достаточно, и даже специалисты службы поддержки могли эти файлы читать и находить там ответы в случае возникновения проблем.

Так мы прожили почти год. Сервис стремительно развивался, количество клиентов сервиса росло, а вместе с ней росло и количество логов. Поиск информации в логах стал тяжелым и нудным процессом: просто за большого объема файлов (более 100К сообщений), а также их большое количество (до 100 файлов одного логера в сутки). Тем, чтобы отследить начало и окончание обработки реквеста, нужно было распарсить несколько десятков таких файлов. Особенно это стало смущать службу поддержки, где время на предоставление ответа очень критическое, и какой-то момент они отказались самостоятельно копаться в логах и вернули эту привилегию команде разработки. смотреть онлайн: https://kogdata.ru/2351-graylog.html

Мы советуем включить HD видео Тернистый путь к системе логирования Graylog на телефоне и смотреть бесплатно его в лучшем качестве с Айфона iOS, Андроида или телевизора Смарт ТВ. Трансляции раньше эфира сайта KOGDATA 07.06.2019.