我的配偶开始把手机设置为静音了

最近两个月，我的丈夫通常下班比较晚，而且手机一直静音。起初他说工作很忙，后来又说手机在维修，但我觉得他似乎一直在找借口。如果我问他，他会准备好解释，不问的话心里又不停地扩大这种怀疑。对此感到怀疑是不是不公平？还是说我该相信自己的直觉？