まぁ、個人のクセってありますからね

その話に興味がないってバレています！会話中のNG仕草とは
http://news.mixi.jp/view_news.pl?media_id=145&from=diary&id=5355749

良く目を見て話さない人間が良くないとか、目線を反らすのは駄目とか色々ありますが、人の目を見て話すって照れくさいし、目線を反らすのも会話中に判断しなければならない時は考えるために一時的に相手との集中力が途切れる時があります。
逆に目線を合わせるのは相手を威嚇したり憎たらしい時が多いですね。人のクセもありますし一概には言えませんよ。