日清戦争では秋津洲の艦長として出征した。日露戦争時は、蔚山沖海戦の指揮官でウラジオストク艦隊を撃破した。1907年に男爵、1910年に海軍大将に就任。 猛将タイプで非常に短気で喧嘩早く尚且つ酒豪で粗暴な一面もあり、海軍内では多少浮いた存在ではあったが、薩摩武士らしく情に厚く非常に部下思いであった。蔚山海戦において、ウラジオストック艦隊攻撃時あと一歩と云う所まで追い詰めながら「我レ、残存弾数ナシ」と書かれた伝言用黒板を部下から手渡された際、それを叩きつけ、悔しそうに踏みつけた逸話は有名。また大破しながらも未だ戦闘意識を失わず、半沈しながらも砲撃を繰り返していた巡洋艦『リューリック』の姿を見て「敵ながら天晴れな者である。生存者は全員救助し丁重に扱う様に」と命令した逸話がある。
日露戦争終戦後も第一艦隊司令長官を通し、生涯現役に拘った稀有な提督である。
同じく薩摩出身の東郷平八郎元帥は、「彦之丞程感情の激しい男は居らん」と称したという。
東京都目黒区に『上村坂』と云う地名があるが、これは上村大将の屋敷があった事に由来する。