2009年8月3日月曜日

久々のPerlによるログ処理

ログ(大量のテキストファイル)の集計作業を受託した。会社員時代ではメインの業務だったが、フリーになってからは初めての案件。半年ぶりにPerlのプログラミングしてみた。

一番の問題点は、処理時間。たかだか200万件のデータ、自宅PCにインストールしたVMWare上のLinuxや、データセンタにあるLinuxサーバ(Pentium IIIの900Mhz!)では遅くて話にならない。自宅PCのWindows上のPerlで何とか処理できたが、非常にストレスフル。

そういえば、会社員のときには一台100万くらいのサーバを使っていたので、処理速度はまあまあだった。それと同じパフォーマンスを自宅のPC(5万円くらい)に求めるほうが間違っているのだろう。

アマゾンのクラウドでサーバを構築すれば高速に処理できるのかな?時間があれば検証してみたい。

0 件のコメント:

コメントを投稿