남편의 바람과 이혼거부

남편이 바람을 피웠어요. 이혼해 달랬더니 이혼은 절대 안 된다며 완강히 거부합니다. 전 정말 이혼할 수 없는 건가요?