Usual Software Engineer

よくあるソフトウェアエンジニアのブログ

Fluentd

Fluentd v0.14 では fluent-plugin-forest が不要な話

少し前のことですが、 Fluentd の v0.14 が stable になりましたね。 イコール v1.0 である通り、安定感が増した感じがしています。 ブログのネタが無いので今回は Fluentd の小ネタを投稿することにしますw 一応ここでは比較のために v0.12, v0.14 と表記…

fluentdの負荷分散のためにmulti processを有効にする

ログ -> fluentd -> fluentd -> ストレージ のような流れで fluentd を酷使していると、1コアしか使えない fluentd が悲鳴を上げて そこがボトルネックとなってスループットが上がらない問題にぶつかります。 そこで使えるのが fluent-plugin-multiprocess …

今更だけどdocker composeのベストプラクティス

複数のdocker imageとcontainerを使ってサクッと環境を整えたいときにdocker composeってとても便利ですよね。 単純な構成だと公式ドキュメントを読めばわりと簡単に思い通りになるのですが、 意外と慣れるまではどんな設定をしてどうファイルを配置するか迷…

PipelineDBにFluentdからログデータを流して集計する

リアルタイムログ解析としてEFKなどが定番のようになっていますが 実運用でなかなかEasticsearch導入に気がひけたりKibanaで細かい分析とビジュアライズができなかったり、 一方で本格的に分析のシステムを構築するならHadoopやCassandraなどでクラスタ組ん…