هل يلزم إجابة الزوج إلى الفراش وإن امتنع عن الإنفاق

أنا امرأة متزوجة لا أريد البقاء مع زوجي فنفسي عافته ولا أريد أن أخالعه رحمة به ولا يوجد له مكان يذهب إليه ومقصر معي لا يؤدي لي حقوقي ولا يصرف علي ولا أي حق لي سوى الجماع وأنا لا أريد منه غير أن يكون أبا لأبنائه ويبتعد عني فماذا أفعل؟ لا يريد أن يطلقني وأنا خائفة من رب العالمين أن يعاقبني وأنا من داخلي لا أريده ولا أريد رؤيته وربي عالم من جوف قلبي أنني لا أريده، لكنه لم يفهم يأتي يريد الجماع ويذهب ولا يسأل عن أبنائه، فيمكنني أن أطلب الخلع، لكن رأفة به وبعياله أذنت له أن يأتي إلى البيت لرؤيتهم ويذهب لكن لا يقربني، فهل يجوز هذا؟ فأنا لا أريد أن يقترب مني، ومن جوف قلبي أقول لكم لا أريده، أفتوني، هل يجوز له أن يأتي ليرى أبناءه ويذهب دون خلع مني؟.