katapedia

Prometheus

grok_exporter

Lokiを使わなくてもエラーが発生した件数だけならgrok_exporterの結果をPrometheusに飛ばすことで検知できる。

Loki

Prometheusはアプリケーションやシステムのログを監視できないためこちらを使う。Promtailというアプリでログを収集する

設定

監視するファイルを追加する

-config.file=/etc/promtail/docker-config.yaml で指定しているファイルに

scrape_configs:
- job_name: system
  static_configs:
  - targets:
      - localhost
    labels:
      job: varlogs
      __path__: /var/log/*log

- job_name: app
  static_configs:
  - targets:
      - localhost
    labels:
      job: applogs
      __path__: /var/log/app/**/*log

LokiとPromtailを別サーバーにする

-config.file=/etc/promtail/docker-config.yaml で指定しているファイルに

clients:
  - url: http://192.168.1.100:3100/api/prom/push # loki address