Добро пожаловать в документацию по онлайн-сервису «ЛогАналайзер» – данное руководство поможет сделать первые шаги в нашей системе анализа серверных логов.

ЛогАналайзер – это первый в России веб-сервис, полностью написанный на ИИ-фреймворке Lovable без непосредственного написания кода программистом, а лишь с его участием в роли код-ревьювера.

Содержание

• Начало работы
• Импорт логов
  • Как скачать лог-файл «access.log» из популярных CMS
  • Как автоматически заливать данные
• Отчеты
• Экспорт
• FAQ

Начало работы в системе

Регистрация в сервисе ЛогАналайзер может быть осуществлена как в классическом виде посредством электронной почты, так и путем авторизации через аккаунты Яндекса или Google.

После того, как пользователь попал в личный кабинет, ему доступно короткое обучающее интро по ознакомлению с личным кабинетом, либо можно сразу приступить к созданию проектов, импорту логов и последующей аналитике.

Основные шаги для начала работы в системе:

1. Создайте проект

Откройте список проектов в верхней части страницы и добавьте свой первый сайт. Все загрузки и отчеты привязываются к активному проекту.

2. Импортируйте лог-файл

Перейдите в раздел Загрузки и импортируйте файл access-лога. Поддерживаются такие распространенные форматы, как: Nginx и Apache.

3. Перейдите в отчеты

После обработки серверного лог-файла раздел Отчеты покажет трафик вашего сайта по категориям: Браузеры, LLM, Краулеры, Прочее.

Совет: загружайте логи ежедневно, чтобы видеть динамику активности сайта.

Импорт логов

Раздел «Загрузки» предназначен для импорта логов в систему.

На данный момент, загрузка логов в систему доступна только в ручном режиме посредством скачивания логов с сервера на диск и после загрузки в сервис. Позже планируется добавить возможность автоматического скачивания логов для упрощения работы в системе.

Ниже описаны примеры, как и где скачивать логи в зависимости от вашего сервера и панели управления сервером.

Поддерживаемые форматы:

• Nginx
• Apache
• Текстовые логи со стандартными полями

Этапы обработки

1. Загрузка
2. Парсинг
3. Дедупликация
4. Классификация
5. Агрегация

Весь процесс импорта файла access.log виден в реальном времени на странице Загрузки.

Как скачать лог-файл «access.log» из популярных панелей управления сайтом

Для технического аудита сайтов, помимо внешних инструментов (например, SiteAnalyzer), важно анализировать серверные логи, в частности access.log. Данный файл содержит информацию обо всех HTTP-запросах к сайту и помогает выявлять ошибки, анализировать поведение поисковых ботов, проверять индексацию страниц, находить аномальные запросы, проблемы производительности и следы атак. Анализ логов особенно полезен при SEO-аудите, изучении причин падения трафика, диагностике 4xx и 5xx-ошибок и проверке работы CDN, кэша и редиректов. Ниже приведены инструкции по скачиванию файла access.log из популярных панелей управления хостингом для их последующего анализа в системе ЛогАналайзер.

cPanel

Войдите в панель cPanel и откройте раздел «Metrics → Raw Access» или «Raw Access Logs». Выберите нужный домен из списка сайтов и нажмите «Download Current Raw Access Log». Файл обычно скачивается в формате .gz.

Если доступен только «Metrics → Visitors», это просмотр логов через интерфейс. Для полного файла используйте именно Raw Access Logs.

На некоторых хостингах логи также доступны через «File Manager« по пути: /home/USER/logs/ или /usr/local/apache/domlogs.

Plesk

В панели Plesk откройте нужный домен и перейдите в «Websites & Domains → Logs». В правом верхнем углу нажмите иконку загрузки или «Download».

Для прямого доступа к файлам откройте «File Manager» и перейдите в каталог: /var/www/vhosts/system/DOMAIN/logs/

Файл access_log можно скачать напрямую. Если лог ротируется, будут доступны архивы вида: access_log.processed или access_log-YYYYMMDD.gz.

ISPManager

В ISPmanager выберите сайт в разделе «WWW-домены« и откройте вкладку «Логи«.

Для скачивания полного файла используйте файловый менеджер панели или подключение по SSH / FTP. Обычно access.log расположен по пути: /var/www/httpd-logs/DOMAIN.access.log

Иногда используется путь: /var/log/nginx/domains/DOMAIN.log

Если лог очень большой, рекомендуется скачать архивированный .gz-файл.

DirectAdmin

В DirectAdmin откройте раздел «System Info & Files → Site Summary / Statistics / Logs».

Для просмотра логов используйте ссылку «Access Log». Для скачивания полного файла перейдите в Менеджер Файлов и откройте: /domains/DOMAIN/logs/.

Основной файл обычно называется: access.log или domain.log.

Также возможен доступ через SSH: /var/log/httpd/domains/DOMAIN.log.

HestiaCP

В панели Hestia Control Panel перейдите в раздел «Web», выберите домен и нажмите «Logs».

Для скачивания файла используйте встроенный Менеджер Файлов или SSH / FTP. Основные пути: /var/log/apache2/domains/DOMAIN.log или /var/log/nginx/domains/DOMAIN.log.

В системах с Apache + Nginx могут существовать два отдельных access.log для frontend и backend-запросов.

CyberPanel

В CyberPanel откройте: «Websites → List Websites → Manage».

Далее перейдите в раздел «Logs» или используйте Менеджер Файлов. access.log обычно расположен по пути: /home/DOMAIN/logs/.

Для OpenLiteSpeed также встречается путь: /usr/local/lsws/logs/.

При отсутствии доступа через интерфейс используйте SSH и команду: bash + tail -f /home/DOMAIN/logs/access.log.

VestaCP

В VestaCP откройте раздел «WEB», выберите сайт и перейдите в просмотр логов.

Для полного скачивания используйте SSH / FTP либо файловый менеджер. Логи обычно находятся в: /var/log/apache2/domains/ или /var/log/nginx/domains/.

Файл называется: DOMAIN.log.

Для загрузки больших логов рекомендуется предварительно архивировать их через SSH: bash + gzip DOMAIN.log.

FastPanel

В FastPanel перейдите: «Сайты → нужный домен → Логи».

Там можно просматривать access.log через веб-интерфейс. Для скачивания полного файла используйте файловый менеджер панели.

Основные пути: /var/www/httpd-logs/ или /srv/www/httpd-logs/.

На некоторых конфигурациях отдельно ведутся логи Apache и Nginx.

Virtualmin

В панели Virtualmin откройте: «Virtualmin → Services → View Log Files».

Выберите access_log из списка. Для скачивания используйте кнопку загрузки либо перейдите через Менеджер Файлов в директорию сайта.

Типовые пути: /var/log/virtualmin/, /var/log/apache2/domains/ или /home/USER/logs/.

При использовании Nginx дополнительно проверьте: /var/log/nginx/access.log.

Как автоматически заливать данные

Простые шаги:

• Создать АПИ-ключ на странице Загрузки
• Настроить чтение лога и посылку данных
• Включить на постоянную основу

Настройка отправки данных через Vector

Vector — это высокопроизводительный конвейер обработки данных, который может эффективно читать файлы.

Скачать его можно на этой странице. Далее, надо написать конфигурацию для приложения, указав расположение лог-файла и АПИ-ключ.

Пример конфигурации (config.yaml):

data_dir: "/var/www/httpd-logs" # <-- ЗДЕСЬ УКАЗЫВАЕТСЯ ПАПКА С ЛОГ-ФАЙЛАМИ
sources:
access_log:
type: "file"
include: ["/var/www/httpd-logs/loganalyzer.ru.access.log"] # <-- ЗДЕСЬ УКАЗЫВАЕТСЯ ПОЛНЫЙ ПУТЬ К ЛОГ-ФАЙЛУ
sinks:
http_logs:
inputs: ["access_log"]
type: "http"
encoding:
codec: "text"
uri: "https://loganalyzer.supabase-bbsw.ru/functions/v1/ingest-logs"
request:
headers:
x-api-key: "API_KEY" # <-- ЗДЕСЬ УКАЗЫВАЕТСЯ АПИ-КЛЮЧ

Чтобы стартовать отправку данных, необходимо выполнить следущую команду: vector config.yaml.

Настройка отправки данных, используя консольные команды

Скрипт:

#!/bin/bash
Конфигурация
LOG_FILE="/var/log/your_file.log" # <-- ЗДЕСЬ УКАЗЫВАЕТСЯ ПОЛНЫЙ ПУТЬ К ЛОГ-ФАЙЛУ
URL="https://loganalyzer.supabase-bbsw.ru/functions/v1/ingest-logs"
Проверка наличия curl
if ! command -v curl &> /dev/null; then
echo "Error: curl is required but not installed." >&2
exit 1
fi
Непрерывно читаем файл и отправляем данные
tail -F "$LOG_FILE" | while IFS= read -r line; do
# Пропускаем пустые строки
[[ -z "$line" ]] && continue
# Отправка данных
curl -s -X POST \
     -H "Content-Type: text/plain" \
     -H "API_KEY" \ # <-- ЗДЕСЬ УКАЗЫВАЕТСЯ АПИ-КЛЮЧ
     --data-binary "$line" \
     "$URL"

done

Пример настройки постоянной работы:

[Unit] Description=Vector Observability Data Pipeline Documentation=https://vector.dev After=network-online.target Requires=network-online.target

[Service] User=root Group=root ExecStartPre=/root/.vector/bin/vector validate /root/vector.yaml ExecStart=/root/.vector/bin/vector --config /root/vector.yaml ExecReload=/bin/kill -HUP $MAINPID Restart=always

[Install] WantedBy=multi-user.target

Необходимые команды:

• sudo systemctl enable loganalyzer.service
• sudo systemctl start loganalyzer.service

Отчеты

После скачивания и загрузки логов на сервер, можно приступать к аналитике загруженных данных.

Раздел Отчеты формирует сводку по категориям за выбранный период.

Каждая строка лог-файла по итогу попадает в одну из категорий в разделе Отчеты (пока их всего пять, но со временем их количество будет расти):

• Обзор – содержит общие данные проекта по всем типам трафика.
• Браузеры – живые посетители (Chrome, Safari, Firefox, ...).
• LLM – ИИ-агенты и ассистенты (GPT, Claude, Perplexity, ...).
• Краулеры – поисковые и SEO-боты (Yandexbot, Googlebot, Bingbot, ...).
• Прочее – всё, что не попало в категории выше.

В каждом отчете по возможности отображается такая информация, как:

• Топ путей (URL) по каждой категории
• Распределение данных на графике по источника трафика (браузеры, LLM, поисковые системы и т.п.)
• Распределение страниц по кодам ответа
• ТОП клиентов по геолокации и IP-адресу

Для классификации запросов к серверу используется строка User-Agent, а также все известные диапазоны IP, где применимо.

Экспорт

• Возможность экспорта отчетов в Excel и PDF (в разработке)

FAQ

• Хранятся ли мои логи? Хранятся только разобранные записи для аналитики. Исходные файлы удаляются после обработки.
• Можно ли удалить проект? Да – в переключателе проектов откройте настройки и выберите «Удалить». Все логи и отчеты по данному проекту будут удалены.
• Как вы определяете LLM? Мы ведем актуальный список User-Agent'ов и IP-диапазонов LLM и регулярно его обновляем.