Je suis constamment surveillé à table

Il y a un collègue au travail qui s'assoit à côté de moi à chaque déjeuner et même s'il a son propre repas, il ne cesse de regarder mon assiette. Je ne peux pas décrire à quel point son regard est perçant. Au début, je n'ai rien dit mais cela devient de plus en plus évident. Je lui ai donné quelques fois de ma propre nourriture, mais cela a commencé à me déranger. Pensez-vous que ce serait impoli de lui dire quelque chose ou suis-je trop susceptible ?