Лог-файлы¶

Лог-файлы содержат информацию о запросах пользователей к Платформе и используются при формировании статистики и аналитических отчетов.

Вы можете получить доступ к содержимому Лог-файлов на Платформе двумя способами:

Включить выгрузку лог-файлов на серверы хранения с доступом по S3 и задать время их хранения. Лог-файлы будут выгружаться на серверы хранения раз в час. Опция настраивается одновременно для всех Сервисных конфигураций в составе Аккаунта.
Получать логи серверов доставки в режиме реального времени по протоколу Syslog. Так как этот протокол работает поверх транспортного протокола UDP, гарантия доставки сообщений и их конфиденциальность не обеспечивается. Опция настраивается для каждой Сервисной конфигурации отдельно.

Для доступа к лог-файлам в составе вашего Аккаунта должны быть включены сервисы Raw Access Logs и Cloud Object Storage. Для получения логов серверов доставки по протоколу Syslog в составе вашего Аккаунта должен быть включен сервис Real-time Logs Streaming.

Как получить доступ к лог-файлам?

Как настроить потоковую передачу логов?

Формат лог-файлов¶

Доступно управление исходящим форматом лог-файлов, поддерживаются форматы:

*.log (вариант, выбираемый по умолчанию) - стандартный вариант логов (common log format);
*.json - в формате json-структуры;
*.tsv - текстовый формат для представления табличных данных, в котором каждая запись занимает одну строку файла, а поля внутри записи разделены символом горизонтальной табуляции (TAB).

Также для выбора набора данных в лог-файлах есть два варианта:

Стандартный - фиксированный минимальный набор данных в логе без информации по сервисам: Edge Logic Rules, Bot Detection и DDoS Protection.
Настраиваемый - вариант, при котором самостоятельно можно указать набор данных, который необходимо получать в логах. В этом варианте дополнительно можно выбрать поля с информацией по сервисам: Edge Logic Rules, Bot Detection и DDoS Protection.

При выборе варианта Настраиваемый должно быть выбрано не менее 1 поля данных.

Доступные поля данных:

Поле	Описание	Стандартный	Настраиваемый
remoteAddr	IP-адрес источника запроса.	+	+
host	Значение заголовка Host в запросе.	+	+
datetime	Время запроса (GMT).	+	+
request	Первоначальная строка запроса целиком.	+	+
httpStatus	HTTP-код ответа (включая коды 502/504)	+	+
cacheStatus	Статус объекта, например, HIT для объекта, отданного из кэша, или MISS для объекта, запрошенного с сервера оригинации.	+	+
upstreamAddr	Адрес сервера оригинации, в случае если объект отсутствует в кэше.	+	+
bodyBytesSent	Размер тела HTTP-запроса (указывается в байтах).	+	+
httpReferer	Значение заголовка Referer.	+	+
httpUserAgent	Значение заголовка User-Agent.	+	+
requestTime	Время обработки запроса в секундах с точностью до миллисекунд; время, прошедшее с момента чтения первых байт от клиента до момента записи в лог после отправки последних байт клиенту.	+	+
gzipRatio	Степень сжатия (отношение размеров объекта от сервера оригинации к размеру объекта отданного пользователю с Платформы).	+	+
sslProtocol	Версия SSL.	+	+
sslCipher	SSL-шифр в случае, если используется защищенное соединение.	+	+
connectionRequests	Порядковый номер запроса в рамках установленного соединения.	+	+
connection	Порядковый номер соединения.	+	+
bytesSent	Полное количество переданных байт (с учетом HTTP-заголовков).	+	+
upstreamResponseLength	Размер полученного ответа с сервера оригинации.	+	+
upstreamHeaderTime	Время получения заголовков ответа с сервера оригинации.	+	+
upstreamResponseTime	Время получения всего объекта с сервера оригинации.	+	+
upstreamStatus	HTTP-код ответа от сервера оригинации.	+	+
countryCode	Двухбуквенный код страны, которой принадлежит IP-адрес пользователя.	+	+
requestId	Уникальный идентификатор запроса пользователя.	+	+
serverPort	Порт сервера, обработавшего запрос.	+	+
ipInListType	В какой тип списка добавлен IP-адрес запроса (Белый пользовательский/Белый системный/Чёрный/Валидация). Сервис DDoS Protection.		+
actionForRequest	Какое действие применено в отношении запроса (Блокировка / Валидация / Пропущен). Сервис DDoS Protection.		+
rulesetId	Каким набором правил был проверен запрос (id набора). Сервис Edge Logic Rules.		+
rulesetTerminatingRuleId	Каким терминирующим правилом был проверен запрос (ruleID). Сервис Edge Logic Rules.		+
rulesetTerminatingAction	Какое терминирующее действие применено в отношении запроса (название терминирующего действия). Сервис Edge Logic Rules.		+
botManagementSourceCategory	Какую бот-категорию присвоил запросу сервис Bot Detection.		+
challengeAttemptId	Идентификатор попытки прохождения проверки. Сервис Edge Logic Rules.		+

При отсутствии в Аккаунте сервисов Edge Logic Rules, Bot Detection и DDoS Protection информация по запросам в полях этих сервисов будет:

в случае с форматами *.log и *.tsv — значение для полей отсутствующих сервисов будет пустым;
в случае с форматами *.json — не будет пары ключ-значение для полей отсутствующих сервисов.

Каждому обработанному Платформой пользовательскому запросу в лог-файле соответствует строка, вид которой зависит от выбранных полей данных.

Пример полей данных и строки лога для варианта Стандартный (фиксированный набор полей данных) с выводом в формате *.log:

$remoteAddr $host [$datetime] "$request" $httpStatus $cacheStatus "$upstreamAddr" $bodyBytesSent "$httpReferer" "$httpUserAgent" "$requestTime" "$gzipRatio" "$sslProtocol/$sslCipher" "$connectionRequests/$connection" $bytesSent "$upstreamResponseLength" "$upstreamHeaderTime" "$upstreamResponseTime" "$upstreamStatus" $countryCode $requestId $serverPort

где значения полей sslProtocol/sslCipher и connectionRequests/connection отображаются по-разному в разных форматах лог-файлов:

Форматы *.log и *.tsv: значения переменных конкатенируются в одно с разделителем в виде символа "/". Пример для sslProtocol/sslCipher (для connectionRequests/connection поведение аналогично):

Значения полученные через API	Отображение в лог-файле
`"sslProtocol": true` `"sslCipher: true"`	"значение sslProtocol/значение sslCipher"
`"sslProtocol": false` `"sslCipher: false"`	"/"
`"sslProtocol": true` `"sslCipher: false"`	"значение sslProtocol/"
`"sslProtocol": false` `"sslCipher: true"`	"/значение sslCipher"

Формат *.json: переменные отображаются отдельно.

Лог-файлы¶

Формат лог-файлов¶

Рекомендации для самостоятельной диагностики¶