Usual Software Engineer

よくあるソフトウェアエンジニアのブログ

Docker

Nginx の代わりに Go 言語製のリバースプロキシ Traefik を使う基本的な利点

毎月ブログ書く縛りを一日過ぎてしまいました。エイプリルフールだったので許してください。 無駄にハマってあまり余力がないのでさっさと本題に入りましょう。 Go 言語製のリバースプロキシ兼ロードバランサーの OSS である Traefik をご存知でしょうか。 …

Fluentd v0.14 では fluent-plugin-forest が不要な話

少し前のことですが、 Fluentd の v0.14 が stable になりましたね。 イコール v1.0 である通り、安定感が増した感じがしています。 ブログのネタが無いので今回は Fluentd の小ネタを投稿することにしますw 一応ここでは比較のために v0.12, v0.14 と表記…

リバースプロキシのテストを書く方法

6月30日です。今日で6月も終わりです。でっていう。 Nginx や OpenResty 、 Varnish などをリバースプロキシとして使用していることが多いと思いますが、 リバースプロキシ単体で設定が正しいかどうかをテストするのって難しそうなイメージがありませんか? …

fluentdの負荷分散のためにmulti processを有効にする

ログ -> fluentd -> fluentd -> ストレージ のような流れで fluentd を酷使していると、1コアしか使えない fluentd が悲鳴を上げて そこがボトルネックとなってスループットが上がらない問題にぶつかります。 そこで使えるのが fluent-plugin-multiprocess …

今更だけどdocker composeのベストプラクティス

複数のdocker imageとcontainerを使ってサクッと環境を整えたいときにdocker composeってとても便利ですよね。 単純な構成だと公式ドキュメントを読めばわりと簡単に思い通りになるのですが、 意外と慣れるまではどんな設定をしてどうファイルを配置するか迷…

ThingsboardのKafka pluginを試してみた

普段IoTなクラウドプラットフォームを運営しているエンジニアをやっております。 たまには競合プロダクトも触らないとね、ということで今回はThingsboardを触ってみました。 ついでにデフォルトで組み込まれているKafka pluginも試してみました。 今回のサン…

PipelineDBにFluentdからログデータを流して集計する

リアルタイムログ解析としてEFKなどが定番のようになっていますが 実運用でなかなかEasticsearch導入に気がひけたりKibanaで細かい分析とビジュアライズができなかったり、 一方で本格的に分析のシステムを構築するならHadoopやCassandraなどでクラスタ組ん…