掲示板お問い合わせランダムジャンプ

トップスペース
rss-reader.png taRgrey  削除ガイドライン  おしらせ  SPAM対策  専属DJのブログ  BOF  SPAM対策別館

2007年08月30日
ログ解析ツール Visitors のプチ改造
fqdn

管理しているウェブサーバでのログ解析処理が結構重くなってきたので、処理の軽さ優先で「Visitors」を導入してみました。

■配布元
http://www.hping.org/visitors/index_jp.php

■日本語化 (リンク切れ)
Apacheログ解析ツールのVisitors ver0.7 日本語化

■インストール

# fetch http://www.sfree.sc/download/visitors-0.7-JP1.tar.gz
# visitors-0.7-JP1.tar.gz
# cd visitors_0.7
# make
# cp visitors /usr/local/bin/

これだけです。

※ただし、オリジナル版も日本語版でも、ドメイン別集計がトップレベルドメインで集計されるため、FQDNでの集計に改造しました。 ↑上の画像が改造後のドメイン集計です。

■改造箇所
visitors.c

/* Process Top Level Domains.
* Returns zero on success. Non zero is returned on out of memory. */
int vi_process_tld(struct vih *vih, char *hostname)
{
char *tld;
int res;

if (vi_is_numeric_address(hostname)) {
tld = "numeric IP";
} else {
/*tld = strrchr(hostname, '.');*/ <<<ここ
tld = hostname;
if (!tld) return 0;
/*tld++;*/ <<<ここ
}
res = vi_counter_incr(&vih->tld, tld);
if (res == 0) return 1;
return 0;
}

void vi_print_tld_report(FILE *fp, struct vih *vih)
{
vi_print_generic_keyvalbar_report(
fp,
"ドメイン",
/*"Top Level Domains sorted by visits",*/ <<<ここ
"Fully Qualified Domain Names sorted by visits", <<<ここ
"ドメイン合計:",
Config_max_tld,
&vih->tld,
qsort_cmp_long_value);
}

■ログファイルの前処理

apacheのログは、アクセス元IPアドレスでの記録にしているため、せっかくFQDNでのアクセス元集計が意味ありませんので、これをホスト名に変換してあげます。

それにはこちらのサイトの「ip2host.pl」を利用し、/usr/local/apache/logs/access_log.host という感じで、ホスト名変換したファイルを用意しておきます。

# ip2host.pl < access_log >access_log.host

Visitorsの処理よりも、この前処理の方が時間がかかる^^;

■ログ解析実行

# /usr/local/bin/visitors -A -m 100 \
/usr/local/apache/logs/access_log.host -o html \
--trails --prefix http://www.******.co.jp | nkf -wm0 \
|sed 's#\(\)#\1\n content="text/html; charset=UTF-8">#' > report.html

こんな感じで実行すると、1秒前後で解析処理完了です。
Googleのクエリー集計のため文字コードをUTF-8にしています。

あとはブラウザで「report.html」を眺めるだけ。

■参考にさせて頂いたページ
1秒で10万行を処理するフリーの超高速なログ解析ソフト「Visitors」

激速 Apacheログ解析 Visitors

追記 2014-02-06
■Visitors でリモートホストの集計 2009年3月28日
http://tkyk.name/blog/2009/03/28/visitors/
出力時に逆引きを行う方法で運用するので処理時間短縮になる。
[ 投稿者:Cookie at 16:29 | ソフトウェア | コメント(0) | トラックバック(0) ]

この記事へのコメント

この記事へのトラックバック

この記事へのトラックバックURL
http://shinshu.fm/MHz/77.88/a00158/0000205816.trackback

この記事の固定URL
http://shinshu.fm/MHz/77.88/archives/0000205816.html

記事へのコメント
 
簡単演算認証: 5 x 2 =
計算の答えを半角英数字で入力して下さい。
名前: [必須]
URL/Email:
タイトル:
コメント:
※記事・コメントなどの削除要請はこちら