裏サイト

今の仕事はネット上からいろんな情報を集めてくるロボット（クローラー）プログラムを作っています。
以前から興味はあったんですが、機会がなくてやってきませんでした。

転職してその機会に恵まれ、今まで色んなロボットを作ってきました。
そのほとんどはyahooニュースとかmixiのようなブログが対象でした。
いってみれば真っ当なサイトが対象でした。

この度、あるお客様からのご要望で裏サイトに近いサイトからデータを収集することになりました。
一応、表のサイトなんですが、悪口や非難、罵詈雑言がいっぱいのサイトです。
特に学校関係がひどい。
実名も出たりしてます。
その分、削除も多く、新規投稿の半分以上は削除だったりもします。

本来、じっくり内容を読む必要はないのですが、開発当初はちゃんとデータが取れているかを確認するため集めたデータとサイトの内容を確認していきます。
1週間ほど確認してそれが終わればエラーでも出ない限り、二度と見ることはありません。
見たくもありませんしね。
こういったサイトを利用して風評被害をチェックするお客様もいてるんですね。