検索エンジン(robots)判定 大雑把編


ちょっと検索エンジンをUA(ユーザエージェント)を元に判定したくなり
手っ取り早い方法は無いか?とログから一定の法則を探してみた。

※タイトルにもある通り大雑把です
・http:// がある
・空白がない
ここまでで大部分が弾ける!(気がする)

これで判定漏れしたのを地道にリストアップ…
・wwwがある
・botがある
・@がある(メールアドレス)
これらの方法だと、概ねロボット判定できるとは思いますが、将来にわたり
ロボットではないUAもロボットと認識してしまう可能性もありますのでご注意を。
ちゃんと判定したい時は、UAリスト、IP判定をするといいと思います。

Comments are closed.