会議中に上司が私の肩に触れ、みんなの話題になった

先週、職場の週次ミーティング中に、話をしているときに上司が突然私の肩に触れました。最初は気にしなかったけれど、ミーティングが終わると皆が私を変な目で見ていました。まるで何かを頭にかけられたように感じました。この状況は噂に変わってしまい、職場環境が非常に不快に感じます。人事部に苦情を申し立てるのは適切な方法でしょうか、それとも事を大きくしない方が良いのでしょうか？