女性が髪を触るのと男性への好意は全く関係ありません
目があった後触るのだとしたら嫌悪感かもしれません
なのでお互いの為に気にしないのがベストです