宮城県仙台に旧仙台藩士の長男として生まれる。私立宮城英学校より海軍兵学校第25期入校。入校時成績順位は36名中第5位、卒業時成績順位は32名中第2位。
山梨は主だった軍歴の大半を軍政部門を歩んだ海軍軍人である。海軍省人事局長在任名中はワシントン軍縮を日本国内で反映させるべく尽力し海軍次官在任中はロンドン軍縮会議の締結に奔走した事から伏見宮博恭王海軍大将や東郷平八郎海軍大将を頂点とする艦隊派から反感を買う結果となり大角人事により予備役に編入させられる。予備役編入が内定した際に当時のロンドン軍縮会議全権若槻礼次郎が『貴方はこんな会議さえ無ければ海軍大臣でも連合艦隊司令長官にもなり得たのに誠に申し訳ない』と発言した処、山梨は『誰かが犠牲になって会議が成功したのだから気にするに及びません』と答え周囲の者達を感動させた。
正規海軍兵学校卒業生で艦隊司令長官職を経験せず海軍大将に親補された少数事例である(海軍大将77名中9名)。
予備役編入後、山梨は昭和天皇の信頼が厚く折から当時の皇太子明仁親王の教育を任せられる適材適所の人材として学習院長を拝命する。