いやぁ~えらいねPostgreSQL、3Kbyteほどのファイルを数百万単位でbinary型でつっこんるんだけど。
NFSで各ディレクトリにわけてファイルを格納するよりはるかにはやい。
計算速度のりっそくが、ストレージだったのが計算時間にちゃんともどりました♪
参考までに
5~25秒程度でひとつのプログラムの実行が完了し。(計算ノードの負荷と種類で激しく違う)
- 3Kbyte程度のファイル x3
- 100byte程度のファイル x2
を作成する。
それを90x90回実行するのが1セット。
つまり90x90x5=約24万。このセットパラメータをかえてがつがつつっこむ。
で計算ノードが27個ほど。。。
結局一秒で5~30個ぐらいは書いてるっぽいのかなぁ。秒単位に直すとたいしたことないけど。
ファイル数がすでに数百万あるとつらいんだろうなぁ。
こないだは90x90のところが900x900だったしなぁ。
0 件のコメント:
コメントを投稿