超初心者向けCGI講座コミュの検索エンジンロボットと掲示板

みなさん、こんにちは。

　検索エンジンロボット(こういう言い方で合っていますでしょうか)は、cgiで作った掲示板が表示するhtml内のデーターも拾ってしまうのでしょうか？
　それ自体のhtmlとは違って、cgiが表示させるので、ロボットがcgiを起動させて・・ということはないのではと思いますし、その掲示板データーも、.pl とかにしとけば大丈夫と感じるのですが、この辺、ちょっと自信がありません。

　例えば、身内だけのテニスやゴルフの仲間だけの掲示板とか言ったものです。
　拾われてしまうのなら、絶対ではないけど、<meta name="robots" content="noindex,nofollow"> などを入れなければと思ったところです。

コメント(5)

最初
全て
最新の40件

[1] mixiユーザー 12月03日 18:16

え～と、まず結論から。
htmlで生成しているならば、検索に引っかかると思います。
またトップページ
例えば　http://abc.def.ghi/index.cgi
の内容は拾います。

でロボットに関してですが、基本的に

http://abc.def.ghi/index.cgi

は検索にかかるかと思いますが。

http://abc.def.ghi/index.cgi?page=1

の?以降が入ると拾われないモノが多いと思います(メジャーな場所は拾ってくれなかったと思います)。

なので、フォームを送った先にメアド書いて、スパムの類を減らすとか。
商用サイトで検索に引っかかりたい場合にフォームデータを?を使用せずに。

http://www.abc.def.jp/index/page

みたいに送ってる場所もあります。

[2] mixiユーザー 12月04日 17:04

　そうなのですか、掲示板cgiも拾われてしまうのですね。
　アドバイスありがとうございました。

　拡張子.htmlを別なモノ(.linとか)にしていても検索エンジンは拾ってくれているので、つまり、.htaccesを読んでいることになると思います。とすれば、.htaccess と -htpasswd で防げ・・・、サーバーにその掲示板cgiがある訳だから効果がないですよねぇ。
　うーん、<meta name="robots" content="noindex,nofollow">で取り合えず防ぐとして、例えば、他に防ぐ方法とかはありますでしょうか。

[3] mixiユーザー 12月04日 17:27

CGIの掲示板自体をパスワード制にして、トップページを認証画面にするとかはどうでしょうか。

まあロボットでの情報収集を禁止するのが一番よいきもします。
マナーの良いロボってなら見てくれるので。

[5] mixiユーザー 12月04日 22:47

なるほど、見て欲しいというのも難しいですが、その逆も同様なんですね。
パスワード認証がこの場合一番みたいです。ありがとうございました。

ログインすると、みんなのコメントがもっと見れるよ