掲示板お問い合わせランダムジャンプ

トップスペース
rss-reader.png taRgrey  削除ガイドライン  おしらせ  SPAM対策  専属DJのブログ  BOF  SPAM対策別館

2007年08月30日
ログ解析ツール Visitors のプチ改造
fqdn

管理しているウェブサーバでのログ解析処理が結構重くなってきたので、処理の軽さ優先で「Visitors」を導入してみました。

■配布元
http://www.hping.org/visitors/index_jp.php

■日本語化 (リンク切れ)
Apacheログ解析ツールのVisitors ver0.7 日本語化

■インストール

# fetch http://www.sfree.sc/download/visitors-0.7-JP1.tar.gz
# visitors-0.7-JP1.tar.gz
# cd visitors_0.7
# make
# cp visitors /usr/local/bin/

これだけです。

※ただし、オリジナル版も日本語版でも、ドメイン別集計がトップレベルドメインで集計されるため、FQDNでの集計に改造しました。 ↑上の画像が改造後のドメイン集計です。

■改造箇所
visitors.c

/* Process Top Level Domains.
* Returns zero on success. Non zero is returned on out of memory. */
int vi_process_tld(struct vih *vih, char *hostname)
{
char *tld;
int res;

if (vi_is_numeric_address(hostname)) {
tld = "numeric IP";
} else {
/*tld = strrchr(hostname, '.');*/ <<<ここ
tld = hostname;
if (!tld) return 0;
/*tld++;*/ <<<ここ
}
res = vi_counter_incr(&vih->tld, tld);
if (res == 0) return 1;
return 0;
}

void vi_print_tld_report(FILE *fp, struct vih *vih)
{
vi_print_generic_keyvalbar_report(
fp,
"ドメイン",
/*"Top Level Domains sorted by visits",*/ <<<ここ
"Fully Qualified Domain Names sorted by visits", <<<ここ
"ドメイン合計:",
Config_max_tld,
&vih->tld,
qsort_cmp_long_value);
}

■ログファイルの前処理

apacheのログは、アクセス元IPアドレスでの記録にしているため、せっかくFQDNでのアクセス元集計が意味ありませんので、これをホスト名に変換してあげます。

それにはこちらのサイトの「ip2host.pl」を利用し、/usr/local/apache/logs/access_log.host という感じで、ホスト名変換したファイルを用意しておきます。

# ip2host.pl < access_log >access_log.host

Visitorsの処理よりも、この前処理の方が時間がかかる^^;

■ログ解析実行

# /usr/local/bin/visitors -A -m 100 \
/usr/local/apache/logs/access_log.host -o html \
--trails --prefix http://www.******.co.jp | nkf -wm0 \
|sed 's#\(\)#\1\n content="text/html; charset=UTF-8">#' > report.html

こんな感じで実行すると、1秒前後で解析処理完了です。
Googleのクエリー集計のため文字コードをUTF-8にしています。

あとはブラウザで「report.html」を眺めるだけ。

■参考にさせて頂いたページ
1秒で10万行を処理するフリーの超高速なログ解析ソフト「Visitors」

激速 Apacheログ解析 Visitors

追記 2014-02-06
■Visitors でリモートホストの集計 2009年3月28日
http://tkyk.name/blog/2009/03/28/visitors/
出力時に逆引きを行う方法で運用するので処理時間短縮になる。
[ 投稿者:Cookie at 16:29 | ソフトウェア | コメント(1) | トラックバック(0) ]

2007年08月24日
qmail-pop3dとWindows Live Mail Betaでの不具合
迷惑メール対策で参考にさせて頂いている「モーグルとカバとパウダーの日記」さんに、qmail-pop3dとWindows Live Mail Betaでの不具合に関する記事があり、ちょっと気になっています。

状況としては、qmailで運用中のサーバでPOP3デーモンとして「qmail-pop3d」を使用している環境において、APOPの設定をしていない Windows Live Mail Betaなメールクライアントで受信できないという事らしい。

メールクライアントの設定でAPOPを無効にしているのに、Windows Live Mail BetaがAPOPでの接続を試行する為、qmail-pop3d側で切断してしまう状況の模様。

管理しているメールサーバの中にはまさしく「qmail-pop3d」が動作しているものも有るので、検証が必要です (T^T)

正式リリースで修正されれば良いけど、このままリリースされたら迷惑ですねぇ.....

MSのメーラーは昔から世間で当り前の機能がなかったり、使いにくいので個人的にはアンインストール対象ですが、「Windowsの標準メーラーなんだからしっかり作ってよ!」って感じです。

#...とここまで書いてからqmailの稼動しているサーバーにAPOPでの受信を確認したら、問題なく受信できてました。
そういえば、qmail-vidaでqmail-popupにAPOP対応済みでした^^;

とは言え素のままの状態だと、不具合が出るので要注意。

[ 投稿者:Cookie at 16:05 | ソフトウェア | コメント(0) | トラックバック(1) ]

2007年08月21日
本文に括弧を多用したスパム
このところ、メール本文に括弧を多用した英文のスパムが多数届いているので、SpamAssassinに判定ルールを追加しました。

本文中に、[ ] ( ) { } < > で括ったアルファベットが連続で出現した場合は、スコアを高く設定しています。

いくつかサンプルを掲載しますが、こんな読みにくいメールでもスパムの目的は達成できるのだろうか??

※一部がHTMLのタグとして反応してしまうので、全角に置換してあります。

※追記 2007-08-23
 ITproにも同様のSPAMの記事が載っていましたね。

続きを読む ...
 
[ 投稿者:Cookie at 16:03 | SPAM対策 | コメント(0) | トラックバック(0) ]

Skype不安定化の原因?
先日8月16日〜18日に発生したSkypeのトラブル原因が「Windows Update」だという記事が ITproに載っていたが、「Windows Update」って今までも何度もあったでしょう? 本当ですか?

ついでに言うと、OSのアップデートでマシンをいちいち再起動させないようにして欲しい!

自宅はSuSE Linuxを使用してますが、YaST Online Update と呼ばれるアップデート自動化ツールのおかげで、クリック数回でアップデートが完了し、OSの再起動もありません^^

※追記 2007-08-22

Skype障害,「Windows Updateはあくまでもトリガー」と説明
との事です。
[ 投稿者:Cookie at 12:49 | ソフトウェア | コメント(1) | トラックバック(0) ]

2007年08月17日
出会い系サイト等への誘導目的コメント
このところ、出会い系サイトや年齢制限のあるサイトへの誘導を目的としたコメントがいくつか投稿されております。

コメント、トラックバックの管理は、各ブログオーナー様の責任となりますので、この様なコメントが投稿された場合は速やかに削除をお願いいたします。

■誘導先サイトの画面
anzu.jpg

eri.jpg

■特徴
リンク先は、自己紹介や時節の挨拶などが書かれた簡単なホームページ

「ENTER」をクリックすると、mailtoタグによりメーラーを起動し、メール送信を促す。

メール本文にセットされる文章がどちらのサイトも全く同じ。

▼メール本文にセットされる文章
このまま送信してください。何も記入する必要はありません。 ※Yahooメールやhotmail等のWEBメールから送りたい方は、上の宛先に書いてあるメールアドレスをコピーして、使いたいWEBメールから送信して下さい。その際も何も記入する必要はありません。そのまま送信して下さい。 Yahoo、Hotmailなどのフリーメールアカウントをお使いの方は返信メールが迷惑メールフォルダに入る事がありますのでご注意下さい。


コメント投稿IPアドレスが「中国」

リンク先サイトのドメイン取得者が「中国」

▼リンク先サイトのドメイン取得者情報
----------------------------------------------------
Domain Name: DEAIFREE.BIZ
Domain ID: D15889922-BIZ
Sponsoring Registrar: TODAYNIC.COM INC.
Sponsoring Registrar IANA ID: 697
Domain Status: clientTransferProhibited
Registrant ID: TODAYNIC-1064877
Registrant Name: DongShuFang
Registrant Organization: DongShuFang
Registrant Address1: shang hai
Registrant City: shang hai
Registrant State/Province: sh
Registrant Postal Code: 519000
Registrant Country: China
Registrant Country Code: CN
Registrant Phone Number: +86.7562125583
Registrant Facsimile Number: +86.7562125583
Registrant Email: wql576@hotmail.com
----------------------------------------------------
Domain Name ID: 2867554DOMAIN-NAME
Domain Name: FREEING.NAME
Domain Status: clientTransferProhibited
----------------------------------------------------

最終的な誘導先サイトは、何れも日本国内のサーバーです。


[ 投稿者:Cookie at 13:45 | お知らせ | コメント(0) | トラックバック(0) ]

Skypeでログイン障害
「Skype」で日本時間の16日夜10時ごろから、「ログインできない」状況が発生しているとの事。

今朝「Skypeが繋がらない」という問い合わせを受けて、「接続しているISPのトラブルかも?」という回答をしてしまいましたが、「Skype」の問題だった様です。

情報源:スラッシュドット ジャパン

復旧状況はSkypeのブログでアナウンスされるようです。
http://share.skype.com/sites/ja/
[ 投稿者:Cookie at 11:43 | ソフトウェア | コメント(0) | トラックバック(0) ]