海軍少将遠藤喜太郎の長男として東京に生れる。学習院を経て、1911年に海軍兵学校(39期)を卒業し、1912年、海軍少尉に任官。1917年から翌年にかけて海軍大学校乙種学生、続けて砲術学校高等科に学ぶ。巡洋艦「常磐」分隊長、戦艦「朝日」分隊長、戦艦「長門」副砲長などを経て、1923年、海軍大学校甲種第21期を卒業した。
その後、呉海兵団分隊長、呉鎮守府参謀、海軍大学校教官、軽巡洋艦「長良」副長、ドイツ駐在武官、「鬼怒」艦長、侍従武官などを経て、1937年に海軍少将に昇進。さらに、ドイツ勤務を経て、横須賀鎮守府参謀長、総力戦研究所長等を歴任する。太平洋戦争中は第1遣支艦隊司令長官を経て第9艦隊司令長官に就任。
しかし太平洋の制海権が米軍に奪われた1944年5月、第9艦隊司令部はニューギニアのホーランディアで玉砕。戦死後、海軍大将に昇進した。
妻、育子は陸軍大将内山小二郎の娘である。