男人生理不行了，就可以无辜怀疑女人有外遇吗

我已经40岁了，男人在2年前就生理不行了，我们一直就这样生活，事情的起因是今年5月的一个晚上，有位朋友给我打了几个电话让我出去玩，我拒绝了，最后一个电话他接了，他一听是位男的，就一直不依不饶的打我一顿，说我在外面找男人了，我解释他不听。       后来我也起诉离婚了，因为我不愿意他无辜猜疑暴打我，他不离，说以后不再打我了。可是现在他规定我下班必须半小时到家，否则就说我和男人约会了。       我在私企打工，单位有时会加班，给他说他不信，没完没了的说我，给我发脾气，真的男人生理不行了，就可以无辜怀疑女人有外遇吗？我已经很累很累的,不知道这样的日子都会是个头，担心那天我回家迟了，又被暴打。