Squidコミュのsquid のログ解析

squidのログ解析には何を使っておりますか？

現在webalizerを使ってるのですが、積算解析を行うと日々のログが巨大すぎて解析が終わらない・・・
サーバのメモリー容量(512Mbyte)が足りなくなってスワップしまくりになって処理が進まなくなるようなのです。
まぁ、ログが500Mbyte/日以上ってのも問題有るとはおもいますけど。

webalizerのような感じのHTML解析ページを作成する巨大ログファイルを解析できるツールご存知ないでしょうか。

メモリーを積みまくるって手もあるんですけどね(^^;

コメント(5)

最初
全て
最新の40件

[2] mixiユーザー 10月25日 00:51

squid+webalizer使ってます。

すでにログの容量がメモリと同容量っていう点で、少なくてもそのサーバで解析処理するのは難しいかと。そのような大規模アクセスがあるのでしたら、そもそもサーバのメモリ容量が根本的にたりないのじゃ・・。
でもまぁエラーログが多いのかも知れません。

１）ログからエラーログを除去してみる
２）ログを細切れにしてから解析する
　ディスク容量があるなら、ローテート終了後にログを細切れにして、細切れごとにwebalizerを実行するスクリプトがあればいい。
２）他のＰＣで解析する
　でも500MB/日だと非現実なような・・・。

まずは500MB/日の原因を探ったほうがいいような。

[3] mixiユーザー 10月26日 10:20

＞gimasystemさん
こんにちわ
SARGは使ってます。
確かに、大規模ではつかえませんね。
日毎に処理させてますが、結構時間がかかります。
期間での統計を取ると大変なことになるので、毎日の上位者確認に使ってます。
awstats はapache形式でないと集計できないかったと思います。
analogはどうなんでしょう？大容量ログの解析いけるのかな？

splitで100M位に分割して解析させてみたんですが、15日目分くらいを超えると100Mの解析に1日位かかるようになってしまいました。
やはり累積集計していくと、過去の集計結果がメモリーに乗り切らなくなるのが原因だんでしょうね。
その後は10M位でも半日くらいかかるようになってしまいました。

＞kimipoohさん
こんにちわ
ログが巨大化してる原因として、cache_peerの問題も有るとは思います。
3台のsquidでアクセス回線を別々に分けて使ってるので、siblingでのログが膨大になってしまうのだと思います。
siblingのログだけ削るのってできましたでしょうか？

・・・スパイウエア・ワームのアクセスなんかも考えられるのかな。

やっまりメモリー積みまくりにしなければだめなのかなっとも思ってしまってます。
しかし、サーバがi815Eなチップセットなんで512Mまでしか載らずサーバ入れ替えしか・・・困った。

[4] mixiユーザー 10月26日 11:28

siblingを使うほどだったんですんね。私自身はそこまでの構成で使ったことはありませんが、siblingだけのログを削ることは可能だと思います。
ログフォーマットについて
　http://squid.robata.org/log.html
hierarchy code（階層コード）→ここらがsiblingなどの情報か？
　http://squid.robata.org/faq_6.html#l-10
判定コード
　http://squid.robata.org/faq_6.html#l-10　あたりか？

また見たい情報が日々の上位者であれば、
HTTP Status Code
　http://squid.robata.org/faq_6.html#l-08
で400, 403, 404あたりを除去するか、思い切ってアクセスが成功した
ものだけからの上位者閲覧であれば、
200番台だけを抽出するとか・・・。

[5] mixiユーザー 10月29日 14:01

＞kimipoohさん
上位者の確認でなくsquidの利用状況のログ取りなんでさすがにバッサリは出来ないです(^^；
上位者の確認は日々のSARGで確認するって事で逃げてます。
SARGは小さなファイル沢山作るので容量よりi-nodeがフルになっちゃうんで苦労してますけど、クライアント毎にアクセス先が確認できるのが良い感じなので。

siblingの削除を試してみます。
ありがとうございます。

ログインすると、みんなのコメントがもっと見れるよ