このドレスで出かけるの?

今日は仕事が終わったところで、整理していたら、上司が私のデスクに来て、"その服でオフィスを出るつもりなの?"と言ったんです。本当に意味が分からなくて、冗談なのか、見下されているのか…。職場でこういう会話は普通ですか?それとも私にだけこんな態度なんでしょうか?とても気を使っています。