予告通り、第16回オープンソーステクノロジー勉強会に参加してきました。

Hadoopネタとのことですが、半分はGREEオフィスを見学したくて行きました :-P
GREEの会議室は自社の宣伝もなく天井が低めで硬派でした。

講師のプリファードインフラストラクチャーの太田さんとblogeye開発者の大倉さんは理系、学術系ぽい顔つきでした。どの辺からそう感じるのだろうな、などと思いながら見ていました。

太田さんがまず概要を話してくださいました。
・Yahoo!とFacebookから積極的にコミットされている
・データ量を必要とする処理、ログの解析に向いている
・クロールとその解析
・Luceneの索引が40Gくらいあって更新に何十時間も掛かるような場合
・あまり例はないがストレージとしての使い方もある
・データ量が10G、20G程度になったら検討すると良い
・元ファイルは数時間に一度追加するようなイメージで
・ファイルの追記もないので、同期は考えず、元ファイルは適当にローテートなどしておくこと

次に大倉さんがblogeyeへの適用例を話してくださいました。
・2億の記事をもつ500万のブログから一日60万個更新される
・Amazon EC2、S3間のデータ転送は無料
・EC2では1時間10円、S3は1ヶ月1GB辺り15円で使える
・ユーティリティーも整備されていて、HadoopとAmazonの相性バッチリ
・運用に年40万円ほど使っていたが、今はEC2は使わず某サーバーにホスティングさせてもらってる

他の方のもっと詳しい感想は開催報告ページに、当日の発表資料も開催ページにすでに掲載されているようなので、興味がある方はご覧いただくと良いと思います。

懇親会では、初めましての方々と名刺交換ができて良かったです。
クイズ研のことを聞いたことがある方が何人かいて嬉しかったです。