まず、斜面を基準とした座標系を考えます。つまり、斜面進行方向をx_1,斜面に垂直上方向をy_1とします。また、床をx、床垂直方向をyとすると、座標変換より
y_1 = y cos (theta) + x sin (theta)
が得られます。
斜面から離れない条件は斜面を基準とした座標系においてy_1時間微分がゼロであることから
d y_1/dt = dy/dt cos theta + dx/dt sin theta = 0
が成り立ち、したがってその微分
d^2 y_1 dt^2 = d^2 y/dt^2 cos theta + d^2 x/dt^2 sin theta =0
が成り立ちます。
これが拘束条件で、あとは運動方程式
m d^2 x /dt^2 = N sin theta
m d^2 y /dt^2 = N cos theta - mg
M d^2 X /dt^2 = - N sin theta
0 = N' -Mg-N cos theta
を解けばいいです。
その結果、
d^2 x/dt^2 = g cos theta sin theta
d^2 y/dt^2 = -g sin^2 theta
d^2 X/dt^2 = -mg cos theta sin theta/M
d^2 Y/dt^2 = 0
が得られます。
これは運動量保存則を満たしていますし、玉が左にころがれば坂は右へ移動するという直感的イメージにも一致します。また、M>>mのときは、斜面を基準とした座標系
x_1 = -y sin theta + x cos theta
に代入すると
x_1 = mg sin theta
となって通常の坂すべり問題に帰着しますので、問題ないと思われます。