¿Voy a salir con este vestido?

Hoy, justo cuando estaba recogiendo mis cosas después del trabajo, el jefe se acercó a mi mesa, se inclinó y me dijo: '¿Te vas de la oficina con ese vestido?' No lo entendí, ¿está bromeando o lo dice despectivamente? ¿Es normal tener esas conversaciones en el trabajo, o solo me trata así a mí? Estoy muy a la defensiva.