Далеко не всегда! Не всем людям нравится смотреть прямо в глаза, многие испытывают от этого дискомфорт. Я лично, например, предпочитаю смотреть просто в лицо, но не глаза собеседника. Хотя могут быть и другие причины, как вариант, человеку просто неприятен разговор.