まつざきの技術メモ

エンジニアの私的な技術メモです。


コメントする

Fluentd meetup in Fukuokaを開催しました

Fluentd meetup in Fukuokaを開催して、LTして来ました!

Zusaarイベントページはこちら
Fluentd meetup in Fukuoka

開催のきっかけは@repeatedlyさんの、このツイート。
これに反応したのが、僕と@Spring_MTさんでした。

お二人の旅費を出して頂いたTreasure Data様。
会場をご提供頂いたOnRAMP様。
トークして頂いた@repeatedlyさん、@tagomorisさん、@Spring_MTさん。
LTして頂いた@snakemanさん。
会場やお店の手配などご協力頂いた@osacaz4さん、@kisさん。
そして、ご参加頂いた皆さん。
沢山の方々のご協力により、素晴らしいイベントにする事が出来ました。

本当にありがとうございました!!
ぜひまたやりたいですねー。

 

最後に発表頂いた方のスライドです。

@repeatedlyさんのスライドはこちら

 

@tagomorisさんのスライドはこちら

 

@Spring_MTさんのスライドはこちら

 

僕のスライドとChefのCookbookはこちら。
※READMEに環境構築時のメモを残してます。
matsumana / chef-repo


2件のコメント

似てる #fluentd プラグインの比較

 

これはウィークリーFluentdユースケースエントリリレーの参加エントリです。

@oranieさんによるまとめエントリはこちら

 

Fluentdのプラグインって沢山ありますよね?
その中から、似てるものを見つけて違いが気になったので調べてみました。

・fluent-plugin-rewrite
by @kentaroさん
fluent-plugin-rewriteというプラグインを作成した #fluentd

・fluent-plugin-rewrite-tag-filter
by @yoshi_kenさん
自在にタグを書き換える fluent-plugin-rewrite-tag-filter でログ解析が捗るお話 #fluentd

今回は、@studio3104さんのこちらのブログエントリを元に構成を作りました。
fluent-plugin-rewriteを使用されています。
# 素晴らしいエントリありがとうございます!

今回の比較とは関係ないのですが、HTTPステータスコードのカウントを取ってみたかったので、
fluent-plugin-datacounterの設定を追加しています。

・送信側の設定例

・受信側の設定例

 

これで、GrowthForecastにこんなグラフが出力できます。
※host01.top.mixという複合グラフは手で作りました。

 
で、fluent-plugin-rewrite-tag-filter版がこちら。

・2つの設定ファイルのdiffはこちら。

グラフはこちら
※top.mixという複合グラフは手で作りました。

 
2つのプラグインの違いのまとめ
fluent-plugin-rewrite
マッチした文字列自体や書き換えを行った文字列を、
渡ってきた元のタグに付加して新しいタグとして再emit。

fluent-plugin-rewrite-tag-filter
マッチした文字列自体や書き換えを行った文字列を、
新しいタグとして再emit。
※今日時点のバージョン(v1.0.0)では、渡ってきた元のタグを残す事が出来ない。
(上記の例で言うと、host01という文字列です)

という違いになります。

fluent-plugin-rewrite-tag-filterの場合、
送信側でタグにホスト名を含めておいて、
グラフをホスト別に出力するという事が出来ない気がします。

それ以外は全く同じ事が出来るので、どちらを使うかはお好みでよろしいかと思います!!

間違いなどあれば、ご指摘ください m(_ _)m

2012/11/17 追記
fluent-plugin-rewrite-tag-filterの作者である@yoshi_kenさんからご連絡いただき、
早速機能追加していただきました。ありがとうございます!


コメントする

第4回インフラ勉強会@福岡 Fluentdハンズオンを開催しました

9/22(土)に「第4回 インフラ勉強会@福岡 Fluentdハンズオン」を開催しました。

ご参加頂いた方々、ありがとうございました!!

第4回 インフラ勉強会@福岡 Fluentdハンズオン

今回のハンズオン内容は、

  1. Fluentdの簡単な説明と事例紹介
  2. 自分が使いたいデータストア(MySQL, PostgreSQL, MongoDB)をインストール
  3. Fluentdとプラグインのインストール
  4. 僕が準備したconfigの説明
  5. Apacheのログを収集してみる
  6. 自作プラグインを動かしてみる

といった内容で行いました。

GrowthForecastでグラフ書いたり、ikachan経由でIRCサーバに通知したりしたかったんですが、
準備が間に合わなくて出来ませんでした。すみません。。。

 

今回初めてFluentdを使うという方が結構いらっしゃったので、
きっかけとしては良かったかなぁと思いました。
個人的にFluentdすごく好きなので、福岡でも興味を持つ人がもっと増えたら嬉しいです!

 

以下、ハンズオンで使った資料とスライドです。

configと自作プラグインのサンプルなど一式
※GitHubに置いてます

 

最後にお礼です。

@frsyukiさん、@GedowFatherさん、@mikedaさん、@hotchpotchさん、@repeatedlyさん、@tagomorisさん、@riywoさん、@taka84u9さん

のスライド、ブログ、SoftwareDesignの特集記事、ソースなどを、参考・紹介させて頂きました。

ありがとうございますm(_ _)m


コメントする

Webサーバ勉強会@福岡でLTしてきました

 

先日開催されたWebサーバ勉強会@福岡でLTしてきました。

主催者の@yokoninaritaiさん、参加された皆さん、ありがとうございました!

ATND Webサーバ勉強会

「現在運用中のサービスで、ローテーションして消えていくアプリケーションのデバッグログを
保存する良い方法はないかなぁ。サーバも増えていくし、出来れば一箇所にまとめたい・・・。」

と、前々から困っていたんですが、Fluentdとfluent-plugin-mongoを知った時は、
「コレだーーー!!」って感じでした。

運用中のサービスで使う場合、ログファイルをtailする方法が
既存の構成もアプリケーションも修正しなくて良いのでベストなのですが、
複数行にまたがるログの場合、プラグインを自分で作る必要があります。

今回、準備時間があまり取れなかったので、
アプリからFluentdにログを送信する事にしました。

今度はプラグインを書いてみます!

Fluentdマジ良いですよ♪
コミッタの方々、ありがとうございます!

みなさんも是非使ってみてください!

最後に、今回使ったLT資料、Fluentd設定ファイル、Javaソースを貼っておきます。