2006年11月30日
このエントリーをはてなブックマークに追加
結構前から困っていることがあります。それは大きなテキストファイルをどうすれば効率的に扱えるのか。ということです。

大きなテキストファイルの内容は、ログファイルです。ですから、そんなに複雑なことをするつもりもなく、集計とかその程度のことができれば十分です。これが辞書のデータなどと行った場合は、その取り扱いは、もっと複雑になりそうですが。

最初から、思いつく方法で集計を行っているのですが、それが非常に手間がかかります。
例えば、10MB ぐらいのログファイルがあります。この場合10万行ぐらいでしょうか。

小さいログファイルであれば、そのままエクセルでファイルを開き、項目ごとに抜き出したり、ソートしたりできます。ある程度編集し終わったところで、データベースにインポートし、さらなる集計を行っています。

しかしながら、大きなファイルになると、確かエクセルの場合だと、36,000 行ぐらいまでが取り扱える限界なので、それを超えると、エクセルで開くことができません。
この場合にどうしたらいいのか。ということなのです。

仕方がないので、こういった場合、 Access などで開くか、テキストエディタで、3万行前後でエクセルにコピーしています。どちらも非常に不便です。
テキストファイルは非常に小さいので、エクセルでもう少し扱えれば便利なのですが、なかなか難しいみたいですね。とはいっても、Access はとてもじゃありませんが、エクセルのような使い方はできません。

ここで、「」 というデータベースソフトが非常に活躍してくれそうな気がします。以前、桐を使いこなしている人がいて、操作を見せてもらったことがあるのですが、ちょうど Access とエクセルの中間のようなイメージでした。表計算のようにも使えるし、データベースのようにも使えそうだし。。。

もちろん試してないのでわかりませんが、そういうのもアリかなぁと思いました。

ちなみに、Access / 桐 / FileMaker と色々なデータベースソフトがありますが、それぞれ特徴があって、とても面白いですね。



stock_value at 00:09│Comments(0)TrackBack(0)日々:2006年 

トラックバックURL

この記事にコメントする

名前:
URL:
  情報を記憶: 評価: 顔