Deux philosophies principales :

ELK / EFK (Elasticsearch + Logstash/Fluentd + Kibana)
  -> indexe le CONTENU complet de chaque log (full-text search puissant)
  -> coûteux en stockage et CPU à grande échelle

Loki (Grafana Labs)
  -> n'indexe QUE les labels (comme Prometheus), pas le contenu du log lui-même
  -> beaucoup moins cher à opérer, recherche par label puis grep sur le contenu
  -> s'intègre nativement dans Grafana, aux côtés de Prometheus

# docker-compose.yml — stack Loki + Promtail (agent de collecte) + Grafana
services:
  loki:
    image: grafana/loki:3.1.0
    ports: ["3100:3100"]
    command: -config.file=/etc/loki/local-config.yaml

  promtail:
    image: grafana/promtail:3.1.0
    volumes:
      - /var/log:/var/log:ro
      - ./promtail-config.yml:/etc/promtail/config.yml:ro
    command: -config.file=/etc/promtail/config.yml

# promtail-config.yml : quoi lire, comment l'étiqueter
server:
  http_listen_port: 9080

clients:
  - url: http://loki:3100/loki/api/v1/push

scrape_configs:
  - job_name: nginx
    static_configs:
      - targets: ["localhost"]
        labels:
          job: nginx
          env: production
          __path__: /var/log/nginx/*.log
    pipeline_stages:
      - json:                                   # parse le JSON produit par log_format json_combined (cours Nginx)
          expressions:
            status: status
            path: request_uri
      - labels:
          status:                                 # promeut "status" en LABEL indexé (recherche rapide)

# LogQL : le PromQL des logs, avec la même logique de labels
{job="nginx"}                                          # tous les logs du job nginx
{job="nginx", status="500"}                             # filtré par label status=500
{job="nginx"} |= "timeout"                                # filtre texte : contient "timeout"
{job="nginx"} != "healthcheck"                              # exclut les lignes contenant "healthcheck"
{job="nginx"} | json | status >= 500                          # parse JSON puis filtre sur un champ numérique

# Métriques dérivées des logs (comme PromQL, applicable sur un flux de logs)
sum(rate({job="nginx"} | json | status>=500 [5m])) by (path)   # débit d'erreurs 5xx par route, calculé depuis les LOGS

# Elasticsearch/Fluentd (alternative ELK) : exemple de config Fluentd pour parser des logs JSON
<source>
  @type tail
  path /var/log/nginx/access.log
  tag nginx.access
  <parse>
    @type json
  </parse>
</source>

<match nginx.access>
  @type elasticsearch
  host elasticsearch
  port 9200
  index_name nginx-logs-%Y.%m.%d      # un index par jour : facilite la rétention/purge
</match>

# Bonnes pratiques de rétention (les logs coûtent cher à grande échelle)
# Loki : retention_period dans loki-config.yaml
# Elasticsearch : ILM (Index Lifecycle Management) — hot (7j, SSD rapide) -> warm (30j) -> delete (90j)
curl -X PUT "localhost:9200/_ilm/policy/logs-policy" -H "Content-Type: application/json" -d '{
  "policy": {
    "phases": {
      "hot":   { "actions": { "rollover": { "max_size": "10gb", "max_age": "1d" } } },
      "warm":  { "min_age": "7d", "actions": { "shrink": { "number_of_shards": 1 } } },
      "delete":{ "min_age": "90d", "actions": { "delete": {} } }
    }
  }
}'