2006年11月30日
Tweet
結構前から困っていることがあります。それは大きなテキストファイルをどうすれば効率的に扱えるのか。ということです。
大きなテキストファイルの内容は、ログファイルです。ですから、そんなに複雑なことをするつもりもなく、集計とかその程度のことができれば十分です。これが辞書のデータなどと行った場合は、その取り扱いは、もっと複雑になりそうですが。
最初から、思いつく方法で集計を行っているのですが、それが非常に手間がかかります。
例えば、10MB ぐらいのログファイルがあります。この場合10万行ぐらいでしょうか。
小さいログファイルであれば、そのままエクセルでファイルを開き、項目ごとに抜き出したり、ソートしたりできます。ある程度編集し終わったところで、データベースにインポートし、さらなる集計を行っています。
しかしながら、大きなファイルになると、確かエクセルの場合だと、36,000 行ぐらいまでが取り扱える限界なので、それを超えると、エクセルで開くことができません。
この場合にどうしたらいいのか。ということなのです。
仕方がないので、こういった場合、 Access などで開くか、テキストエディタで、3万行前後でエクセルにコピーしています。どちらも非常に不便です。
テキストファイルは非常に小さいので、エクセルでもう少し扱えれば便利なのですが、なかなか難しいみたいですね。とはいっても、Access はとてもじゃありませんが、エクセルのような使い方はできません。
ここで、「桐」 というデータベースソフトが非常に活躍してくれそうな気がします。以前、桐を使いこなしている人がいて、操作を見せてもらったことがあるのですが、ちょうど Access とエクセルの中間のようなイメージでした。表計算のようにも使えるし、データベースのようにも使えそうだし。。。
もちろん試してないのでわかりませんが、そういうのもアリかなぁと思いました。
ちなみに、Access / 桐 / FileMaker と色々なデータベースソフトがありますが、それぞれ特徴があって、とても面白いですね。
大きなテキストファイルの内容は、ログファイルです。ですから、そんなに複雑なことをするつもりもなく、集計とかその程度のことができれば十分です。これが辞書のデータなどと行った場合は、その取り扱いは、もっと複雑になりそうですが。
最初から、思いつく方法で集計を行っているのですが、それが非常に手間がかかります。
例えば、10MB ぐらいのログファイルがあります。この場合10万行ぐらいでしょうか。
小さいログファイルであれば、そのままエクセルでファイルを開き、項目ごとに抜き出したり、ソートしたりできます。ある程度編集し終わったところで、データベースにインポートし、さらなる集計を行っています。
しかしながら、大きなファイルになると、確かエクセルの場合だと、36,000 行ぐらいまでが取り扱える限界なので、それを超えると、エクセルで開くことができません。
この場合にどうしたらいいのか。ということなのです。
仕方がないので、こういった場合、 Access などで開くか、テキストエディタで、3万行前後でエクセルにコピーしています。どちらも非常に不便です。
テキストファイルは非常に小さいので、エクセルでもう少し扱えれば便利なのですが、なかなか難しいみたいですね。とはいっても、Access はとてもじゃありませんが、エクセルのような使い方はできません。
ここで、「桐」 というデータベースソフトが非常に活躍してくれそうな気がします。以前、桐を使いこなしている人がいて、操作を見せてもらったことがあるのですが、ちょうど Access とエクセルの中間のようなイメージでした。表計算のようにも使えるし、データベースのようにも使えそうだし。。。
もちろん試してないのでわかりませんが、そういうのもアリかなぁと思いました。
ちなみに、Access / 桐 / FileMaker と色々なデータベースソフトがありますが、それぞれ特徴があって、とても面白いですね。