実際、核保有国はそういった「使うかもしれない」という可能性の部分を利用しています。
例えば、現に、アメリカは核兵器保持国としてNPTから免除される立場をとっている上に、CTBT(Comprehensive Test Ban Treaty 包括的核実験禁止条約) に批准もしていません。これは要するに、アメリカは「やむを得ないと判断した場合には核兵器を使うかもしれません」という状態にしているわけです。それだけでなく、着々と自国の核弾道とミサイルの近代化を進めて、常に世界で最強の状態を保っています。
たとえその核兵器が使われる可能性が低くても、アメリカが可能性が「ある」という態度でいるわけですから、それに対して脅威を覚える国は世界にたくさんあるわけです。日本はたまたま、そのアメリカの核兵器に保護されている状態あって、アメリカに敵視される状態にはないので脅威を覚えないだけのことです。
アメリカの核兵器だけでなく、世界の他の核兵器とのバランスも、既に保有する国々とその友好国(おそらく日本も含め)にとっては安定している(バランスがとれている)ように見えても、国によってはそれぞれ自国のおかれた状況の中で必ずしも安定状態とは見えない状態です。必ず脅威を覚える国がそれを克服するために自国も核兵器を得ようとする、または通常兵器や他の大量破壊兵器で補おうとするのは極めて理性的な判断だと思います。