LOKI

Grafana Loki — это система для сбора, хранения и анализа логов, которая использует методы индексации на основе меток и предоставляет возможности запросов и визуализации логов через веб-интерфейс Grafana. Путь к файлу конфигурации по умолчанию: /opt/dppm/planr/logging/loki/local-config.yaml

auth_enabled: false

server:
  http_listen_port: 3100

common:
  path_prefix: /loki
  storage:
    filesystem:
      chunks_directory: /loki/chunks
      rules_directory: /loki/rules
  replication_factor: 1
  ring:
    kvstore:
      store: inmemory

schema_config:
  configs:
  - from: 2020-05-15
    store: tsdb
    object_store: filesystem
    schema: v13
    index:
      prefix: index_
      period: 24h

limits_config:
  ingestion_rate_strategy: local # Default: global
  max_global_streams_per_user: 5000
  max_query_length: 0h # Default: 721h
  max_query_parallelism: 32 # Old Default: 14
  max_streams_per_user: 0 # Old Default: 10000
  retention_period: 168h # 1 weeks retantion

auth_enabled: false

auth_enabled отвечает за включение или отключение аутентификации при доступе к Loki.

server

Этот блок отвечает за конфигурацию HTTP-сервера, на котором работает Loki;
http_listen_port: 3100 — задает порт, на котором Loki будет слушать входящие HTTP-запросы (по умолчанию 3100).

common

Здесь описаны общие настройки Loki, такие как путь к файлам и репликация;
path_prefix: /loki — задает базовый путь, который будет использоваться для хранения данных и конфигураций Loki;
storage описывает, как и где будут храниться данные:
chunks_directory: /loki/chunks — каталог для хранения логов в виде «чанков» (частей данных);
rules_directory: /loki/rules — каталог для хранения правил (например, для alert-менеджера или для управления обработкой логов);
replication_factor: 1 — задает фактор репликации данных. В этом случае репликация отключена (одна копия данных);
ring — определяет настройку кольца (ring), которое отвечает за распределение нагрузки и данных по узлам кластера;
kvstore: inmemory — хранилище для кольца будет храниться в оперативной памяти (данные не сохраняются на диск, что подходит для небольших инсталляций и тестирования).

schema_config

Этот блок отвечает за конфигурацию схемы хранения данных в Loki;
from: 2020-05-15 — дата, начиная с которой применяется эта схема;
store: tsdb — Loki использует TSDB (Time Series Database), то есть база данных временных рядов для хранения данных;
object_store: filesystem — объектное хранилище будет файловым (на локальной файловой системе);
schema: v13 — версия схемы (v13 используется в последних версиях Loki для оптимизированного хранения данных);
index:
prefix: index_ — задает префикс для индексации данных (индексирует логи для ускорения поиска);
period: 24h — период индексации данных, что означает, что индексы будут сбрасываться каждые 24 часа.

limits_config

В этом блоке описаны ограничения и параметры нагрузки на систему;
ingestion_rate_strategy: local — стратегия ограничения скорости приема данных. Здесь указана стратегия local, которая применяет ограничения на уровне локального узла, а не глобально;
max_global_streams_per_user: 5000 — максимальное количество потоков данных (streams), которое может быть открыто пользователем по всему кластеру;
max_query_length: 0h — максимальная продолжительность выполнения запросов. Значение 0h означает, что нет ограничений по времени выполнения запросов;
max_query_parallelism: 32 — максимальное количество запросов, которые могут выполняться параллельно;
max_streams_per_user: 0 — максимальное количество потоков данных на пользователя. Значение 0 означает, что нет ограничений на количество потоков;
retention_period: 168h — период хранения логов, после которого они будут удаляться. 168 часов — это 7 дней (1 неделя).

Подробнее о настройке конфигурационного файла Loki можно ознакомиться на официальном сайте https://grafana.com/docs/loki/latest/configure/

Fluent-bit

Grafana