fluentdからs3への送信をローカルで検証したい

概要

dockerで fluentd、 minio を立てて、S3へのログの送信の検証を行う。

構成

.
├── docker-compose.yml
├── fluentd
│   ├── Dockerfile
│   └── conf
│       └── fluentd.conf
└── log
    └── development.log

fluentdは v0.12 系を使用しています。（バージョンによってconfの書き方が異なる）

GitHub - fluent/fluent-plugin-s3: Amazon S3 input and output plugin for Fluentd

設定

docker

FROM fluent/fluentd:v0.12.40

ADD conf/fluentd.conf /fluentd/etc/
# for v0.12
RUN gem install fluent-plugin-s3 -v "~> 0.8" --no-document

RUN mkdir -p /var/log/fluent/s3 && \
    mkdir -p /var/log/td-agent && \
    chmod 777 /var/log/*

docker-compose

version: '3'
services:
  fluentd:
    build: fluentd/
    ports:
      - "24224:24224"
    volumes:
      - ./fluentd/conf:/fluentd/etc
      - ./log:/var/log/rails
    environment:
      FLUENTD_CONF: fluentd.conf
    depends_on:
      - miniomc
  minio:
    image: minio/minio:RELEASE.2020-01-25T02-50-51Z
    volumes:
      - minio_volume:/data
    ports:
      - "9090:9000"
    environment:
      MINIO_ACCESS_KEY: minio_access_key
      MINIO_SECRET_KEY: minio_secret_key
    command: server /data
  miniomc:
    image: minio/mc:RELEASE.2020-01-25T03-02-19Z
    depends_on:
      - minio
    entrypoint: >
      /bin/sh -c "
      until (/usr/bin/mc config host add myminio http://minio:9000 minio_access_key minio_secret_key) do echo '...waiting...' && sleep 1; done;
      /usr/bin/mc mb myminio/fluentdtest --region=ap-northeast-1;
      /usr/bin/mc policy set public myminio/fluentdtest;
      exit 0;
      "
volumes:
  minio_volume:

fluentdのconf

<source>
  @type forward
</source>

<source>
  @type tail
  format none
  path /var/log/rails/development.log
  pos_file /var/log/td-agent/rails.log.pos
  tag log
</source>

<match log>
  @type s3

  aws_key_id minio_access_key
  aws_sec_key minio_secret_key
  s3_bucket fluentdtest
  s3_endpoint http://minio:9000/
  s3_region ap-northeast-1
  path logs/              # This prefix is added to each file
  force_path_style true   # This prevents AWS SDK from breaking endpoint URL

  s3_object_key_format %{path}%{hostname}_%{time_slice}_%{index}.%{file_extension}
  buffer_path /var/log/fluent/s3
  time_slice_format %Y%m%d-%H
  time_slice_wait 10m
  utc
  format single_value
  flush_at_shutdown
</match>

<match fluent.info.**>
  @type stdout
</match>

<match **>
  @type copy

  <store>
    @type file
    path /home/fluent/logs/debug
  </store>

  <store>
    @type stdout
  </store>
</match>

ログ

log/development.log には文字を適当に書き込む

Send Apache Logs to Minio - Fluentd

td-agent でログ全文は S3 へ保存しつつ、特定文字列がマッチした場合 slack に通知する方法 - akms道東

tips

bucket名にアンダースコアが含まれている

バケットの生成に失敗するのでアンダースコアは使用しない

miniomc_1  | mc: <ERROR> Unable to make bucket `myminio/fluentd_test`. Bucket name contains invalid characters
miniomc_1  | mc: <ERROR> Unable to set policy `public` for `myminio/fluentd_test`. The specified bucket does not exist.

indexはapiを通して実現しているのでお金がかかる

Fluentdのs3_object_key_formatに%{index}を使わないほうがいい - grep Tips *

タグ名を使用してpathを生成したい

${tag[1]}

Fluentd v0.14 では fluent-plugin-forest が不要な話 - Usual Software Engineer