MIXI民事法律相談コミュの慰謝料

2009年4月に当時既婚者であった自分は同じく既婚者の(お互い子持ち)女性と恋に落ちました。そして一緒になろうとお互いにきめ相手は同年9月に離婚自分も翌2010年4月に離婚しました。相手の旦那から慰謝料を請求され不倫相手のほうからも旦那に落ち度はないから払ってあげてくれと言われ公正証書で取り決めて300万円(毎月8万円の分割)の支払いが同時期から始まりました。が、お互いに浮気や他の人と飲みに行ったりでケンカも堪えなくありました。でも基本的には仲が良く付き合ってました。しかし今年の１月頃から向こうの元旦那が家を売り出し2人で家を探しだし5月頃から新しく買った家に住みだしました。当時向こうの旦那は再婚とか一緒に復縁する事は絶対ないと言うからその言葉を信じて慰謝料を払う事にきめました。そして彼女とは別れていないので僕達はいまだに付き合いは続いています。

旦那に慰謝料請求とか慰謝料を取り下げさせるとかなにか方法はないでしょうか？

彼女は子供の為に戻っただけで子供が大きくなったら一緒になろうとも言ってます。
結婚詐欺にあたるんでしょうか？