YAPC::Asia TOKYO 2012

Stream data processing, like log stream processing, is really challenging. BigData or not is out of it.

In this talk, I will introduce how to build (semi-) real-time processing system in distributed nodes, which components of these are written by perl, and what problems we can use this system on.

常に流れてくるデータ(典型的にはストリーム送信されてくるログ)をどのように処理するかは難しい問題です。データの大小は根本的には関係ありません。

そういったデータを(半)リアルタイムに分散処理する仕組みをどのようにすれば作れるか、それがどのようにPerlで記述されているか、どのような問題に応用できるかについて話します。