Soy observado constantemente en la mesa de comedor

Hay un compañero en el trabajo que se sienta conmigo cada almuerzo y, a pesar de tener su propia comida, no deja de mirar mi plato. No puedo describir cuán observadores son esos ojos. Al principio no dije nada, pero ya es evidente. Le he dado de mi comida en un par de ocasiones, pero eso ha empezado a incomodarme. ¿Creen que sería grosero decirle algo al respecto, o soy yo el que estoy siendo demasiado sensible?