まつざきの技術メモ

エンジニアの私的な技術メモです。

似てる #fluentd プラグインの比較

2件のコメント

 

これはウィークリーFluentdユースケースエントリリレーの参加エントリです。

@oranieさんによるまとめエントリはこちら

 

Fluentdのプラグインって沢山ありますよね?
その中から、似てるものを見つけて違いが気になったので調べてみました。

・fluent-plugin-rewrite
by @kentaroさん
fluent-plugin-rewriteというプラグインを作成した #fluentd

・fluent-plugin-rewrite-tag-filter
by @yoshi_kenさん
自在にタグを書き換える fluent-plugin-rewrite-tag-filter でログ解析が捗るお話 #fluentd

今回は、@studio3104さんのこちらのブログエントリを元に構成を作りました。
fluent-plugin-rewriteを使用されています。
# 素晴らしいエントリありがとうございます!

今回の比較とは関係ないのですが、HTTPステータスコードのカウントを取ってみたかったので、
fluent-plugin-datacounterの設定を追加しています。

・送信側の設定例

・受信側の設定例

 

これで、GrowthForecastにこんなグラフが出力できます。
※host01.top.mixという複合グラフは手で作りました。

 
で、fluent-plugin-rewrite-tag-filter版がこちら。

・2つの設定ファイルのdiffはこちら。

グラフはこちら
※top.mixという複合グラフは手で作りました。

 
2つのプラグインの違いのまとめ
fluent-plugin-rewrite
マッチした文字列自体や書き換えを行った文字列を、
渡ってきた元のタグに付加して新しいタグとして再emit。

fluent-plugin-rewrite-tag-filter
マッチした文字列自体や書き換えを行った文字列を、
新しいタグとして再emit。
※今日時点のバージョン(v1.0.0)では、渡ってきた元のタグを残す事が出来ない。
(上記の例で言うと、host01という文字列です)

という違いになります。

fluent-plugin-rewrite-tag-filterの場合、
送信側でタグにホスト名を含めておいて、
グラフをホスト別に出力するという事が出来ない気がします。

それ以外は全く同じ事が出来るので、どちらを使うかはお好みでよろしいかと思います!!

間違いなどあれば、ご指摘ください m(_ _)m

2012/11/17 追記
fluent-plugin-rewrite-tag-filterの作者である@yoshi_kenさんからご連絡いただき、
早速機能追加していただきました。ありがとうございます!

広告

作成者: まつざき

中堅企業向けERPサービスを提供してる会社で働くソフトウェアエンジニア Perl/Ruby/Java8/Erlang/Fluentd/PostgreSQL/MySQL/Riak/Debian

似てる #fluentd プラグインの比較」への2件のフィードバック

  1. ご紹介いただきありがとうございます。
    fluent-plugin-rewrite-tag-filter v1.1.0にて、プレースホルダ機能を早速実装しました。

    例えば rewriterule3 であれば、 rewrited.${tag}.$1 と記述出来るようになります。
    どちらも便利なプラグインですので、お好みな方をお使いいただければ幸いです。

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト / 変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト / 変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト / 変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト / 変更 )

%s と連携中