Суть
ELK — стандарт централизованного логирования: Elasticsearch хранит, Logstash обрабатывает, Kibana визуализирует.
Live-данные · обновлено 19 июля 2026 г.
ELK-стек: что это такое, Elasticsearch, Logstash и Kibana
Когда у вас 50 микросервисов и каждый пишет логи в свою папку, найти причину падения — иголка в стоге сена. ELK Stack (Elasticsearch, Logstash, Kibana) собирает все логи в единый поисковый индекс и строит дашборды за минуты. Это не просто инструмент администратора — сегодня его знание требуется DevOps-инженерам, backend-разработчикам и ИБ-специалистам. В московском IT-срезе ELK встречается в 308 активных IT-вакансиях, занимая долю 4.4% рынка.
КВКузнецов Вячеслав·Технический редактор·DevOps/SRE-техлид · опыт 10+ лет
Вакансий
308
активных в Москве
Медиана зарплаты
287 тыс. ₽
n = 52 вакансии с указанной зарплатой
Индекс спроса
85/100
#49 из 332 навыков
Доля IT-рынка
4.4%
30 профессий
Коротко о навыке
ELK — стандарт централизованного логирования. Elasticsearch хранит и индексирует данные, Logstash обрабатывает и нормализует логи, Kibana визуализирует их в дашборды.
Спрос на ELK растёт за счёт тренда на observability. Навык востребован в DevOps, backend-разработке и информационной безопасности, где требуется быстрый анализ логов без копания по серверам.
Что такое ELK
Где нужен
DevOps, backend, ИБ, QA — везде, где нужно быстро найти причину инцидента по логам.
Плюсы
Полнотекстовый поиск, мощные агрегации, open source, огромное сообщество.
Простыми словами
ELK — как библиотека с каталогом книг. Elasticsearch — каталог, где каждая книга (лог) лежит на полке с координатами. Logstash — библиограф, который подбирает книги, сортирует их и кладёт в каталог. Kibana — витрина, где можно листать, искать по словам и строить графики популярности. Вместе они решают проблему разрозненных логов на сотнях серверов.
Как это работает
Данные (логи, метрики, события) попадают в Logstash или в легковесные сборщики Beats. Logstash преобразует их в структурированный JSON и отправляет в Elasticsearch. Elasticsearch индексирует документы и делает их мгновенно доступными для поиска. Kibana подключается к Elasticsearch и отображает данные в виде дашбордов, графиков и таблиц.
Чего ELK не делает
Не системой мониторинга — для алертинга нужен Watcher или Grafana. Не базой данных общего назначения — Elasticsearch оптимизирован для полнотекстового поиска, а не для транзакций. Не заменой SIEM «из коробки» — нужны дополнительные правила корреляции. Не монолитом — каждый компонент можно заменить (Logstash на Fluentd).
Понятия / Карта
Из чего состоит ELK
Понятие Что это Что нужно уметь
Index
Группа документов с общими настройками
Создавать, настраивать маппинг
Document
Единица данных в JSON
Понимать структуру и форматирование
Shard
Сегмент индекса для масштабирования
Настраивать количество шардов
Replica
Копия шарда для отказоустойчивости
Настраивать количество реплик
Node
Один сервер кластера
Настраивать роль узла
Cluster
Группа узлов, работающих вместе
Разворачивать и мониторить кластер
Pipeline
Цепочка фильтров Logstash
Писать конфигурации pipeline
Beats
Лёгкие сборщики данных
Настраивать Filebeat, Metricbeat
Grok
Шаблон для парсинга логов
Писать регулярные выражения Grok
Mapping
Схема индексации полей
Задавать явные маппинги
Kibana Dashboard
Набор визуализаций
Строить дашборды и оповещения
Alert
Правило оповещения на основе запроса
Настраивать Watcher или интеграции
Механика / Работа
Как ELK превращает лог в расследование
ELK полезен, когда путь события понятен: сервис пишет лог, конвейер доставляет его в стек, Elasticsearch индексирует данные, а инженер собирает цепочку в Kibana.
Шаг Слой Смысл
Шаг 01
Источник события
Сначала нужно понять, что пишет приложение, сервер, контейнер, балансировщик или система безопасности: время, уровень, код ошибки, идентификатор запроса и контекст.
Шаг 02
Доставка
Beats, Elastic Agent или Logstash доставляют события в стек. На этом этапе важны формат, потери, повторная отправка и задержка.
Шаг 03
Разбор полей
Logstash или конвейер обработки выделяет поля: сервис, узел, статус, пользователь, идентификатор трассировки, путь запроса, сообщение ошибки и другие признаки для поиска.
Шаг 04
Индексация
Elasticsearch сохраняет документы в индексы. Важны схема полей, типы данных, шарды, реплики, срок хранения и объём данных.
Шаг 05
Поиск в Kibana
Инженер фильтрует по времени, сервису, уровню, идентификатору трассировки, статусу и тексту ошибки, чтобы восстановить порядок событий.
Шаг 06
Вывод для команды
Результат расследования должен отвечать на практический вопрос: что сломалось, когда началось, кого затронуло и какое изменение связано с ошибкой.
Карьера / Роли
Кому нужен ELK
ELK переносится между ролями: DevOps-инженер, SRE-инженер, Инженер поддержки. В одном треке этот навык может быть основным рабочим инструментом, а в другом - сильным прикладным усилителем основной специализации.
Роли с ELK за период
DevOps-инженер — самый заметный профиль в распределении ролей по навыку.
Роль Упоминаний за период Медиана
Ещё 7 ролей используют ELK
Текущий срез показывает активные вакансии сейчас. Распределение по ролям рассчитано по расширенной исторической выборке, поэтому значения могут быть выше текущего количества активных вакансий.
Практика / Задачи
Частые задачи с ELK
ELK ценен не абстрактным знанием инструмента, а повторяющимися рабочими задачами — ниже они разобраны так, как встречаются в реальной работе.
# Задача Что делает специалист
Задача 01
Запустить ELK через Docker Compose
Клонируйте полный репозиторий с конфигами — отдельный docker-compose.yml без них не запустится.
git clone https://github.com/deviantony/docker-elk.git
cd docker-elk
docker compose up
Задача 02
Отправить лог из nginx в Logstash
Настройте Filebeat на чтение access.log и отправку в Logstash.
filebeat.inputs:
- type: log
paths: /var/log/nginx/access.log
output.logstash:
hosts: ['localhost:5044']
Задача 03
Создать дашборд в Kibana
Постройте график количества ошибок по кодам ответа за последние 24 часа.
Задача 04
Найти ошибку в логах по поиску
Используйте Kibana Discovery: поиск по stacktrace и фильтр по уровню ERROR.
Практика / Ошибки
Ошибки новичков
Ошибка 01
Не настроен ILM
Индексы растут бесконтрольно, диск заполняется. Настройте ILM с самого начала.
Ошибка 02
Grok pattern неправильный
Из-за неверного шаблона логи не парсятся и падают в _grokparsefailure. Тестируйте в Kibana.
Ошибка 03
Отсутствие mapping для полей
ES сам маппит поля, что приводит к неэффективному хранению и ошибкам при изменении типа.
Ошибка 04
Heap JVM слишком мал
Elasticsearch с heap менее 2 ГБ может выпадать с OOM. Увеличьте через ES_JAVA_OPTS.
Рынок / Контекст
ELK в современных IT-проектах: контекст спроса
ELK помогает командам быстро находить причины инцидентов и строить наблюдаемые системы. Спрос на него растёт вместе с трендом observability. В московском IT-срезе ELK указан в 308 вакансиях, что соответствует 4.4% рынка. Особенно востребован в DevOps, backend-разработке и ИБ.
Сокращает ручную работу
ELK востребован там, где инструмент реально ускоряет повторяемые задачи команды, а не существует отдельной теорией.
Встроен в рабочий процесс
Спрос держится дольше, когда навык нужен не эпизодически, а как часть ежедневного цикла разработки, проверки или доставки.
Закреплён в зрелом стеке
ELK чаще ищут там, где процесс уже стандартизирован и без этого инструмента команда теряет скорость и предсказуемость.
Сигнал рынка
Стабильный спрос
ELK формирует устойчивый спрос внутри своего рабочего сегмента.
Рынок / Спрос
Спрос на ELK на рынке
ELK сохраняет устойчивый прикладной спрос на рынке: 308 активных вакансий, #49 по рынку, 4.4% IT-вакансий. Ниже показано число открытых вакансий на конец каждого месяца: это исторический ряд по состоянию на конец месяца, а не текущий срез рынка на сегодня.
Сила спроса
Стабильный спрос 308
активных вакансий сейчас
#49 по рынку • 4.4% IT-вакансий
Месяц к месяцу
392
июль 2026 — предварительный накопительный срез
-27 вакансий и -6% к предыдущему месяцу.
Доход / Уровни
Зарплаты в вакансиях, где требуется ELK
ELK-специалисты — DevOps, backend или ИБ. В московском IT-срезе связка ELK + Kubernetes + Prometheus даёт заметный зарплатный буст к медиане DevOps-инженера.
Медиана рынка
Ограниченная точность 287 000
₽ / месяц
52 вакансий с зарплатой в расширенной зарплатной выборке
Коридор по грейдам
—
уровни с выборкой
Коридор появится, когда по грейдам наберётся достаточная выборка.
Основной уровень
Senior
по структуре рынка
Senior - основной уровень рынка (54%)
Связи / Навыки
Навыки в связке с ELK
ELK редко живёт изолированно: чаще всего рынок видит его рядом с Grafana, Kubernetes, Prometheus. Самая плотная связка сейчас - Grafana: оба навыка встречаются вместе в 76% вакансий.
Главная связка: Grafana • 76% вакансий. Показываем общерыночные связки ELK: не junior-минимум из блока выше, а навыки, которые чаще всего встречаются рядом с ним в одной вакансии.
Рабочий стек вокруг ELK
навыки, которые рынок чаще всего видит рядом в одной вакансии
Навык Зачем рядом Доля
Связки, которые усиливают доход
не базовый минимум, а более сильные комбинации стека
1
Kubernetes
n = 36
+11% 319 000 ₽
2
PostgreSQL
n = 36
+11% 319 000 ₽
3
CI/CD
n = 37
+10% 316 000 ₽
4
Prometheus
n = 38
+2% 293 000 ₽
Вход / Старт
Порог входа
Сейчас на рынке 19 активных junior-вакансий с ELK. Это 7.8% всех вакансий по навыку, поэтому для старта важнее всего смотреть на реальный объём junior-окна и на стек, который рынок ждёт рядом.
Junior-вакансии сейчас
19
активных вакансий
7.8% всех вакансий по навыку • Senior / Junior 6.9x
Доля junior
7.8%
% всех вакансий по навыку
Окно входа узкое: рынок чаще нанимает с опытом.
Что нужно на старте
Стартовый стек
21
навыков в медианной вакансии
Медианная вакансия с ELK ожидает около 21 навыков в стеке. Это широкий стартовый набор: рынок обычно ищет не один изолированный инструмент, а рабочую комбинацию соседних навыков.
Карьера / Резюме
ELK в резюме: что значит "знаю ELK"
Владение ELK-стеком показывает, что вы умеете собирать и анализировать логи. На каждом уровне это выражается по-разному.
Уровень Что значит Что показать
Beginner
Знает названия компонентов, может запустить локально через Docker
Пример: развернул ELK на ноутбуке, отправил лог nginx
Junior developer
Настраивает Filebeat и Logstash, создаёт дашборды в Kibana
Пример: настроил сбор логов с веб-сервера, дашборд с ошибками 400-500
Middle developer
Разворачивает multi-node кластер, настраивает ILM, безопасность
Пример: кластер из 3 узлов, ILM политика, RBAC, TLS
QA automation
Использует Kibana для анализа логов тестов, строит дашборды failed/passed
Пример: дашборд тестовых прогонов, алерт при падении >10%
Data/ML
Использует Elasticsearch для хранения метрик моделей, агрегации percentiles
Пример: мониторинг дрейфа данных, latency инференса через Kibana
DevOps junior
Разворачивает ELK через Docker, настраивает Filebeat на подах k8s
Пример: ELK стек в Kubernetes, сбор логов со всех подов
SRE/platform
Администрирует production кластер, настраивает SLM, scaling, мониторинг стека
Пример: кластер из 10 узлов, автоматические snapshot, алерты Watcher
Сравнение / Инструменты
ELK, OpenSearch, Loki, Splunk и Grafana: что выбрать
Выбор зависит от объёма логов, требований к поиску и того, кто будет сопровождать стек. ELK силён в гибком поиске, Loki — рядом с Grafana, OpenSearch — как открытая альтернатива.
Инструмент За что отвечает Когда нужен Граница
ELK / Elastic Stack
Сбор, разбор, хранение, поиск и визуализация логов через Elasticsearch, Logstash и Kibana.
Подходит, когда нужны гибкий поиск, богатая экосистема, сложные поля, панели и расследования по журналам.
Требует дисциплины индексов, срока хранения, прав доступа и производительности кластера.
OpenSearch
Поиск, аналитика и панели на отдельной открытой платформе.
Уместен, когда компания хочет альтернативу Elastic и готова сопровождать отдельную экосистему.
Не все возможности и интеграции Elastic переносятся один к одному.
Loki
Логовая система, ориентированная на метки и работу рядом с Grafana.
Подходит для Kubernetes, приложений с понятными метками и команд, где Grafana уже центральный экран.
Не равен полнотекстовому поисковому движку по произвольным полям.
Splunk
Коммерческая платформа для поиска, корреляции, безопасности и анализа машинных данных.
Подходит зрелым компаниям с бюджетом, требованиями к безопасности и большим числом расследований.
Стоимость и модель сопровождения могут быть тяжелее для небольших команд.
Grafana
Единый экран для панелей и разных источников наблюдаемости.
Нужна, когда логи, метрики и трассировка должны встречаться в одном пользовательском интерфейсе.
Сама по себе не заменяет хранилище логов и правила их доставки.
Навык / Применение
Где используется ELK
ELK применяется в разных ролях: от администратора до data-инженера. Вот пять типичных сценариев.
Сценарий 01
DevOps / SRE
Централизованный сбор логов с микросервисов. Filebeat собирает логи из подов Kubernetes, Logstash обрабатывает, Elasticsearch индексирует, Kibana — единый поиск и...
Сценарий 02
Backend-разработчик
Отладка медленных запросов: структурированные логи с id запроса, временем и кодом ответа. Kibana строит распределение latency, находится узкое место.
Сценарий 04
QA / Тестировщик
Логи тестовых прогонов после CI/CD. Сборщик отправляет логи в Elasticsearch, дашборд показывает failed/passed тесты по билдам.
По направлениям
ELK заметен в 3 направлениях рынка с долей выше 5%.
Направление Контекст Доля
Инфраструктура
Часть спроса по навыку сосредоточена в этом направлении.
58.4%
Разработка
Отладка API, профилирование latency, дашборды ошибок.
19.9%
Тестирование
Часть спроса по навыку сосредоточена в этом направлении.
6.5%
Данные и ML
Часть спроса по навыку сосредоточена в этом направлении.
4.5%
Направления показывают, в каких частях IT-рынка навык заметен чаще всего, без разбивки по ролям.
Инструмент / Возможности
Что входит в рабочий ELK-навык
Рабочий ELK — это стек, схема полей, индексы, права доступа и понятный путь от события до поиска.
Elasticsearch
Нужно понимать индекс, документ, поле, схему полей, шард, реплику, запрос, агрегацию и влияние структуры данных на скорость поиска.
Logstash
Logstash принимает события, применяет фильтры, разбирает строки, обогащает данные и отправляет их в нужное хранилище.
Kibana
Kibana нужна для поиска, фильтров, панелей, сохранённых поисков, правил оповещения, прав доступа и рабочих представлений для команд.
Качество логов
Хорошие логи имеют время, уровень, сервис, окружение, код ошибки, идентификатор запроса, пользователя или объект и достаточно контекста для расследования.
Срок хранения
Политика жизненного цикла индексов и срок хранения помогают не превращать стек в дорогую свалку событий без понятной ценности.
Безопасность
Права, маскирование чувствительных данных, аудит доступа и разделение пространств важны не меньше, чем скорость поиска.
Сравнение / Контекст
ELK, OpenSearch, Loki и Splunk: в чём разница
ELK сравнивают не по моде, а по задаче. OpenSearch ближе по логике стека, Loki чаще выбирают рядом с Grafana, Splunk — для более тяжёлой корпоративной аналитики и безопасности.
ELK / Elastic Stack
Elasticsearch, Logstash, Kibana и соседние компоненты закрывают хранение, поиск, разбор, панели и расследование по логам.
OpenSearch
Открытая поисковая платформа с OpenSearch Dashboards, часто выбирается как альтернатива Elastic в инфраструктурных и облачных сценариях.
Loki
Логовая система из экосистемы Grafana, которая делает упор на метки и экономичное хранение, а не на полнотекстовую индексацию каждого поля.
Splunk
Коммерческая платформа для машинных данных, расследований, безопасности и аналитики, сильная в зрелых корпоративных контурах.
Данные / Стек
Что проверяет инженер в ELK при инциденте
При расследовании смотрят не только на текст ошибки. Нужны время, сервис, окружение, версия релиза, request_id, статус и связь с индексом. Если этих полей нет, поиск превращается в чтение случайных строк. ELK помогает там, где события структурированы заранее и по ним можно быстро понять, что случилось, когда началось и какой сервис виноват.
Временное окно
Сначала задают точный интервал: когда началась проблема, когда закончилась и совпадает ли это с релизом или изменением инфраструктуры.
Идентификаторы
Идентификаторы запроса, трассировки, пользователя и сессии помогают собрать цепочку событий из разных сервисов без ручного угадывания.
Поля индекса
Проверяют схему полей, типы данных, формат даты и то, можно ли по нужному признаку фильтровать без ошибок.
Поток доставки
Если часть логов не пришла, смотрят агент, Logstash, очередь, сеть, ошибки разбора и задержку индексации.
Права доступа
Пользователь может не видеть нужный индекс или пространство Kibana, поэтому отсутствие данных не всегда означает отсутствие события.
Соседние сигналы
Логи сверяют с метриками, трассировкой, алертами и историей изменений, чтобы подтвердить причину, а не только симптом.
Практика / Workflow
Как ELK используется в реальном проекте
Этап Что происходит Артефакт
1 Сбор
Filebeat / Metricbeat собирают логи и метрики с каждого хоста или пода
Логи в JSON
2 Обработка
Logstash принимает данные, применяет фильтры (Grok, mutate, date)
Структурированные документы
3 Индексация
Elasticsearch индексирует документы по заданному маппингу
Проиндексированные документы
4 Хранение
Данные распределяются по шардам, применяется ILM для управления lifetime
Индексы hot/warm/cold
5 Поиск
Kibana отправляет запросы Query DSL, Elasticsearch возвращает агрегации
Дашборды, таблицы
6 Оповещение
Watcher (или внешний алертер) проверяет условия и отправляет уведомления
Alert в Telegram, Slack
Инструмент / Оркестрация
ELK через Docker Compose: Elasticsearch, Logstash, Kibana
ELK-стек удобно разворачивать через Docker Compose. Типовой стек включает Elasticsearch, Logstash, Kibana и Filebeat для сбора логов.
elasticsearch
Поисковый движок и хранилище. Контейнер с настройками памяти, сети и маппингами.
logstash
Обработчик данных. Зависит от Elasticsearch, использует pipelines с фильтрами Grok.
kibana
Визуализация. Подключается к Elasticsearch, конфигурируется через ENV.
filebeat
Сборщик логов на хосте. Отправляет данные в Logstash или напрямую в Elasticsearch.
networks
Внутренняя сеть для связи контейнеров между собой и с внешними сервисами.
volumes
Постоянное хранилище для данных Elasticsearch, чтобы не терять индексы при перезапуске.
пример: полноценный стек
ELK + Filebeat + Metricbeat с дашбордами и алертами в Kibana.
production-рекомендации
Использовать образы с фиксированными версиями, настроить resource limits и healthcheck.
Практика / ELK
ELK: лучшие практики и типичные ошибки новичков
Практика 01
ILM — управление жизненным циклом индексов
Настройте политики hot/warm/cold/delete для автоматического устаревания логов. Экономит ресурсы и упрощает администрирование.
Практика 02
Режим безопасности включить сразу
Включайте аутентификацию и TLS с первого запуска. Позже настраивать сложнее.
Практика 03
Структурированные логи (JSON)
Настраивайте приложения на вывод логов в JSON. Это ускоряет парсинг и уменьшает нагрузку на Grok.
Практика 04
Ограничить маппинги
Не допускайте автоматическое определение маппинга — задавайте явно. Избегайте типов text для полей, по которым не нужен поиск.
Практика 05
Мониторинг heap JVM
Elasticsearch и Logstash потребляют много памяти. Настройте мониторинг heap и alert при >80% использования.
Практика 06
Реплики и number_of_replicas
Для отказоустойчивости используйте минимум 1 реплику. Учитывайте при расчёте кластера.
Практика 07
Filebeat с multiline
Для многострочных стектрейсов настройте multi-line в Filebeat, чтобы не разбивать одну ошибку на несколько событий.
Практика 08
Регулярные snapshot
Настройте Snapshot Lifecycle Management (SLM) для регулярных бекапов индексов в S3 или NFS.
Практика / Безопасность
Безопасность ELK: что нельзя делать
Риск 01
Выключенная аутентификация
Elasticsearch и Kibana по умолчанию не требуют пароля. Это критическая уязвимость — злоумышленник может получить доступ ко всем логам.
Риск 02
Открытые порты
Порты 9200, 5601, 9600 не должны быть доступны из интернета без VPN или firewall.
Риск 03
Нешифрованные данные
Логи могут содержать конфиденциальные данные. Без TLS трафик перехватывается.
Риск 04
Уязвимые версии
Используйте LTS-релизы. Старые версии имеют CVE, вплоть до RCE.
Риск 05
Лог-инъекция
Если пользовательский ввод попадает в логи, возможна инъекция — Grok может выполнить нежелательный парсинг. Используйте экранирование.
Риск 06
Доступ к Kibana без RBAC
В бесплатной версии Kibana нет ролевой модели. Планируйте изоляцию пространств.
Риск 07
Секреты в конфигах
Пароли к БД, API-ключи не должны лежать в logstash.conf в открытом виде. Используйте Vault или переменные окружения.
Риск 08
Обновление стека разрозненно
Версии компонентов должны быть совместимы (матрица совместимости Elastic). Обновляйте все вместе.
Будущее / Роль
Перспективы ELK
Перспективы ELK завязаны не только на текущем спросе, но и на том, как навык встраивается в новые платформы, инструменты и рабочие контуры.
Сигнал 01
Отказ от Logstash
Elastic Agent вытесняет Logstash как отдельный компонент – унифицированный сборщик с встроенными интеграциями.
Сигнал 02
Serverless Elasticsearch
Elastic Cloud Serverless снижает затраты на поддержку инфраструктуры.
Сигнал 03
Объединение observability
ELK интегрируется с APM и трейсингом в один стек – единое окно для метрик, логов и трейсов.
Практика / Портфолио
Портфолио с ELK: с чего начать
Проект 01
Развернуть ELK через Docker Compose на локальной машине
Написать compose-файл с Elasticsearch, Logstash, Kibana и Filebeat. Отправить лог nginx и построить дашборд с числом запросов по кодам ответа.
Проект 02
Мониторинг веб-сервера: дашборд статусов
Собрать логи с 4 серверов (NGINX, Apache), настроить парсинг и построить дашборд с картой GeoIP и распределением latency.
Проект 03
Кластер Elasticsearch из 3 узлов с безопасностью
Развернуть multi-node кластер, включить TLS и RBAC, настроить ILM на удаление индексов старше 30 дней. Проверить отказоустойчивость при падении узла.
Проект 04
Интеграция с Kubernetes
Развернуть ELK через helm charts, настроить Filebeat DaemonSet на сбор логов со всех подов, дашборд для отслеживания ошибок по namespace.
Обучение / Маршрут
Как изучить ELK
Изучение ELK лучше начать с понимания архитектуры стека, затем перейти к развёртыванию через Docker Compose и потом к настройке production-кластера.
Этап Фокус Что изучать
Этап 01
Понять основы Elasticsearch
Индексы, документы, шарды, поиск. Установите через Docker и выполните базовые запросы.
Этап 02
Освоить Logstash и Grok
Научитесь писать pipeline, разбирать логи с Grok, добавлять фильтры и обогащать данные.
Этап 03
Kibana: дашборды и визуализации
Создайте дашборды с диаграммами, картами, оповещениями.
Этап 04
Beats и Filebeat
Настройте сбор логов с реальных приложений через Filebeat, Metricbeat.
Курсы · по данным рынка
Курсы, где ELK нужен как практика логов
Соответствие — доля тем навыка, которые охватывает программа курса
Практика / Первый запуск
Как начать с ELK на практике
Начинать лучше с одного сервиса, который пишет понятные логи: статус, путь, время ответа, request_id и текст ошибки. Сначала нужно доставить события в Elasticsearch, потом открыть Kibana и ответить на простой вопрос: где ошибка и когда она началась. Лучше делать это на живом сервисе. Дальше полезно специально испортить одно поле или формат события. Потом сравните хороший и плохой лог на одном инциденте. Тогда сразу видно, почему ELK требует дисциплины ещё до красивой панели и почему плохой лог не спасает даже удобный поиск.
Шаг 01
Выбрать источник
Возьмите приложение, nginx, контейнер или системный журнал, где есть повторяемые события и понятная ошибка.
Шаг 02
Доставить события
Настройте Beats, Elastic Agent или Logstash и убедитесь, что события появляются в индексе без потерь.
Шаг 03
Разобрать поля
Выделите время, сервис, уровень, статус, путь, идентификатор запроса и сообщение ошибки, чтобы потом искать по признакам.
Шаг 04
Проверить поиск
В Kibana найдите ошибку по времени, статусу и идентификатору запроса, затем сохраните полезный запрос.
Шаг 05
Настроить хранение
Задайте срок хранения и проверьте, что старые индексы не растут бесконтрольно.
Частые вопросы
Вопросы и ответы
Что такое ELK-стек?
ELK – это набор из Elasticsearch (хранение + поиск), Logstash (обработка) и Kibana (визуализация). После добавления Beats переименован в Elastic Stack.
Чем ELK отличается от Elastic Stack?
Elastic Stack включает Beats и APM-агенты. ELK – историческое название.
Что такое Beats?
Легковесные агенты для сбора данных: Filebeat (логи), Metricbeat (метрики), Winlogbeat (Windows события) и др.
Как работает Logstash?
Принимает данные от источников, пропускает через pipeline с фильтрами (Grok, mutate, date) и отправляет в выбранный output.
Зачем нужен Filebeat, если есть Logstash?
Filebeat – лёгкий сборщик на стороне источника, Logstash – мощный процессор для тяжёлой обработки.
Что такое индекс в Elasticsearch?
Логическая группа документов с одинаковыми настройками маппинга. Аналог таблицы в SQL.
Что такое шард и реплика?
Шард – часть индекса на одном узле. Реплика – копия шарда для отказоустойчивости.
Как создать дашборд в Kibana?
Через Visualize Library создаёте визуализации, затем добавляете их на Dashboard.
Как найти ошибку в логах?
В Kibana Discovery введите уровень ERROR или stacktrace. Используйте KQL-запросы.
Чем ELK отличается от Grafana Loki?
ELK индексирует полное содержимое логов, Loki – только метаданные. ELK мощнее для поиска, Loki – легче и дешевле.
Чем ELK отличается от Splunk?
Splunk – проприетарный продукт с более мощными функциями корреляции, но очень дорогой. ELK – open source с платными надстройками.
Что такое Grok?
Фильтр Logstash для разбора неструктурированных логов с помощью шаблонов (например, %{COMBINEDAPACHELOG}).
Как настроить безопасность ELK?
Включите аутентификацию, TLS, RBAC (в платной версии) или используйте Search Guard.
Что такое ILM?
Index Lifecycle Management – политика управления индексами: hot/warm/cold/delete.
Можно ли использовать ELK для мониторинга?
Да, через Metricbeat и Kibana можно строить дашборды, но для алертинга нужен Watcher или сторонний инструмент.
Сколько нужно RAM для ELK?
Минимум 4 ГБ для одного узла Elasticsearch (+ JVM heap), Logstash ~1 ГБ, Kibana ~1 ГБ.
Как обновить ELK без downtime?
Рекомендуется rolling upgrade: обновлять узлы по одному, проверяя совместимость версий.
Какие альтернативы Logstash?
Fluentd, Vector, Filebeat (для лёгкой обработки).
Что такое mapping explosion?
Бесконтрольный рост числа полей в индексе из-за динамического маппинга. Приводит к падению производительности.
Как избежать mapping explosion?
Ограничьте число полей через mapping.total_fields.limit, используйте flat-форматы.
Что такое Elastic Cloud?
Управляемый сервис Elasticsearch, Logstash, Kibana от Elastic. Подходит для команд без DevOps-инфраструктуры.
Нужен ли ELK для небольшого проекта?
Если логов мало, можно начать с Filebeat + Grafana Loki – проще и дешевле.
Как сбросить пароль в Elasticsearch?
Воспользуйтесь elasticsearch-reset-password (для версий 7.5+ на базе файловой системы).
Как настроить алерты в Kibana?
В Kibana Basic (бесплатная лицензия) алерты доступны через Stack Management → Rules. Можно создавать правила на порог логов, метрики ES или индексные паттерны и отправлять уведомления по email, Slack, webhook. Watcher (расширенные возможности) доступен только в платных тарифах Elastic.
Что такое APM в ELK?
Elastic APM – модуль для трейсинга приложений. Позволяет видеть узкие места в коде.