ヨーロッパ帰国コミュの子供にとって何歳までが日本帰国後の負担が少ないですか？

皆さん初めまして。
私は現在ノルウェー在住です。
ノルウェー人の主人との結婚を機に移り住み、２００７年生まれの息子と２０１１年生まれの娘がいます。
そして数年以内に一家で日本（大阪府）に引っ越す予定です。
私と子供達は日本語のみで、主人とはノルウェー語、そして夫婦は英語なので息子は３か国語を理解しています。

私自身は帰国子女ではないのですが、子供達が将来帰国子女に相当します。
そこで帰国子女であった皆さんの子供時代の経験を教えて頂きたいのです。
質問は、子供にとって個人差が大きいかと思いますが大体何歳までが帰国後日本での学校生活・日本語の苦労の負担が少ないか？ということです。
息子の年齢を基準に考えています。もうすぐ７歳、今現地校の１年生です。
特に算数等は日本との教育レベルの差がありすぎて、余り大きくなってから日本に移っても勉強や精神面でもっと大変ではないかと思うのでなるべく近年中には引っ越したいと思っています。
でもその反面、こちらの生活は育児がしやすく安全で、大自然の中でのびのびと本当に子供らしく育っています。幼少期をこのような環境で過ごせることはラッキーな事だと思いますし、人格形成・人生の上でもとても大きなことであることも解っています。
矛盾しますが日本のストレス・競争社会の中に入れるのは出来るだけギリギリ伸ばしたいという想いもあります。

私達の中では９歳が目途かなと思っていますが、実際に帰国子女として日本に帰国した経験をお持ちの方、子供だった当時の視点から何歳頃が良かったのか、また帰国後の苦労等教えて頂けませんか？

宜しくお願いします！