Ubuntu — Rsyslog server, nginx acces log collector
Надоело мне смотреть логи nginx на разных серверах кластера путём переключения консолей, а захотелось видеть всё в одном потоке. Такое умеет стандартный менеджер логов в поставке Ubuntu (и не только) - rsyslog, его и будем использовать.
Для начала настроим клиенты, те машины что логи будут отправлять:
$ModLoad imfile
# Указываем какой файл будем экспортировать
$InputFileName /var/log/nginx/access.log
# Назначаем тэг, который будет дописываться на сервере получателе, чтобы можно было понять с какой машины пришла запись
$InputFileTag hostX-access:
# Временный файл, в который rsyslog будет записывать текущую позицию
$InputFileStateFile access
# Источник сообщения
$InputFileFacility local0
# Уровень серьёзности сообщения
$InputFileSeverity info
# Запускаем мониторинг изменений в файле
$InputRunFileMonitor
# Отправлять накопленные данные будем каждую секунду
$InputFilePollInterval 1
# Указываем куда будем отправлять, в данном случае все сообщения local0 будут отправляться по UDP со сжатием gzip 7 на сервер 192.168.1.1
local0.* @(z7)192.168.1.1:514
Такой конфиг нужно будет сделать на каждом сервере (hostX можно пронумеровать по каждому серверу или назначить более понятные вам теги).
Также нужно проверить что rsyslog сможет прочитать логи и сохранить файлы состояний:
chmod 0750 /var/spool/rsyslog && \
chmod 0755 /var/log/nginx/ && \
chmod 0644 /var/log/nginx/access.log
Если у вас работает logrotate то нужно поправить конфиг чтобы новые файлы логов nginx создавались с правами 0644:
daily
missingok
rotate 52
compress
delaycompress
notifempty
create 0644 www-data adm # поправлено
sharedscripts
prerotate
if [ -d /etc/logrotate.d/httpd-prerotate ]; then \
run-parts /etc/logrotate.d/httpd-prerotate; \
fi; \
endscript
postrotate
[ ! -f /var/run/nginx.pid ] || kill -USR1 `cat /var/run/nginx.pid`
endscript
}
Конфиг сервера, в /etc/rsyslog.conf добавить настройку приёма логов по UDP:
$UDPServerRun 514 # Порт нужно будет открыть на фаерволе
# Не забываем установить ограничения от кого можно принимать логи, IP перечисляются через запятую
$AllowedSender UDP, 192.168.1.0/24
В конфиге по-умолчанию, если логи с серверов не нужны в syslog сервера нужно добавить указание куда их собирать
local0.* -/var/log/group.access.log
service rsyslog restart и можно наблюдать полную картину:
Отладка
Если что-то не будет работать, можно запустить rsyslog в режиме отладки, например так:
На сервере можно слушать порт таким образом:
Категории
Теги
Последние комментарии
- к записи Ubuntu — Установка последней версии FFmpeg и x264 (и обновление)
- к записи Ubuntu — Установка последней версии FFmpeg и x264 (и обновление)
- к записи Ubuntu — Установка последней версии FFmpeg и x264 (и обновление)
- к записи Полезные команды MySQL
- к записи Cacti — XBT Tracker statistics
Архив
- Март 2013 (1)
- Октябрь 2012 (1)
- Май 2011 (1)
- Март 2011 (1)
- Ноябрь 2010 (1)
- Октябрь 2010 (1)
- Сентябрь 2010 (1)
- Июль 2010 (1)
- Май 2010 (1)
- Февраль 2010 (1)
- Январь 2010 (1)
- Декабрь 2009 (1)
- Ноябрь 2009 (7)
Управление
Обратная связь
Счётчики
Terms
Gentoo Way by Дмитрий Бекетов is licensed under a Creative Commons Attribution-Noncommercial 3.0 Unported License.
Permissions beyond the scope of this license may be available at http://gentooway.ru/terms.