pigzでgzip圧縮の高速化

職場のデータ処理プログラムの改善の続編。

ギガ単位のデータをgzipコマンドで圧縮すると1時間近くかかってしまう。何かいい方法はないかと検索したら、並列処理対応のgzipコマンド「pigz」なんてものを見つけた。

試しにCentOSのLinuxサーバにインストールして圧縮コマンドを実行したら、なんと処理時間は1/10以下。ギガ単位のデータでも数分で圧縮が完了する。本当に並列処理って素晴らしい。