給与・税金・労務についての疑問コミュのＱ．住宅譲渡に関する所得税

先日、税務署から呼び出されました。約２時間押し問答をして帰ってきました。困っています。

去年の４月にわたしの実家が地上げに会いました。
その家は５０年以上前に父（故人）が買ったもので土地は賃貸（地主はお寺さん）でした。以来、家族４人（父、母、わたし、弟）で生活していましたが、その後、わたしと弟は独立し、それぞれ別に生活をしていました。
平成１５年１月に父が亡くなり実家には母一人が残りました。そのとき家の所有と地主との賃貸契約を母の依頼でわたしがが引き継ぐことになりました。（家の権利は司法書士事務所で手続きしてもらいました。土地の賃貸契約は電話で父が亡くなったことを伝えると「契約を結びなおさなくてもそのままでよい」との回答でした）
去年の４月頃、地上げ業者が実家に来ました。「地主のお寺が土地を売り所有者が変わったので立ち退いて欲しい」との話でした。当時実家の周辺は母のような高齢者ばかりが住んでおられましたが、大騒ぎとなり、母はそのときの心労がきっかけで７月に入院してしましました。いろいろありましたが、結局、母が入院している最中に業者に実家を売り（借地権付建物、５００万円）、今の家（賃貸、始め４０万円、家賃月８万円、賃貸契約はわたしの名義）に引っ越しました。５００万円では、引越し代、今後かかる引越し先の家賃を考えると４～５年の補償にしかなりませんでしたが、法律すれすれの脅し、嫌がらせ、母の入院中にすべてを終わらせたいという事情もあり、泣く泣く受けました。

さて、本題ですが。。
去年税務署から所得税を申告するようにと書類を送ってきましたが、上のようなことを書いた返事を送ってそのままになっていました。ところが、先日呼び出しがありました。５００万円のうち控除できるのは５％の２５万円のみで残りの４７５万円には９５万円の所得税がかかるというものでした。家が母の持ち物であれば所得税は免除されるのだそうですが、わたしの名義なので免除されないということです。押し問答した中で、実家をわたしが主たる生活の場としていたら免除されるということがわかりました。わたしには家族の住む家が別にあり住民票にはそこが記載されていますが、実は母は体調が悪く当時わたしは実家によく泊まっていました。（現在は母と完全に同居して、わたしは家族と別に住んでいます。介護認定を受けています）　税務署とはこのあたりを詳しく書いた文章を作りもう一度話し合うことになりました。

質問ですが、
?家の持ち主が母であろうが、わたしであろうが、住んでいた母の住む家を確保するのにかかるお金（引越し代、家賃など）を考慮されないのは納得できません。家を売ったのも、次の家の賃貸契約を結んだのもわたしです。本当に所得税を支払わなければならないのでしょうか。

?　?が認められないのであれば、税務署が書いてこいといった書類ですが、その家が主たる生活の場としての条件とはどのようなものか。（住民票は動かしていません）それを知りたいです。その情報に基づいて書類を作りたいと思います。

以上です。
５００万円しかない補償のうち５分の１近くを税金で持っていかれるのはとても理不尽に思えてなりません。

有用な情報、アドバイスがありましたら、どんなことでも教えてください。よろしくお願いします。