薩摩藩士の子として生まれ、1877年(明治10年)の西南戦争に参戦する。イギリスの海軍兵学校・海軍大学校で兵学を学んでいたため、日本海軍の中でも博識であった。
下瀬雅允海軍技師が開発した下瀬火薬の威力を発揮させるため、伊集院信管を開発した。この信管は1905年(明治38年)の日本海海戦(日露戦争中)で、下瀬火薬とともにその威力を発揮し、連合艦隊がロシアのバルチック艦隊を撃破する大きな要因となった。そのため伊集院は、「日本海海戦勝利の影の功労者」と言われている。
日露戦争後は第二艦隊司令長官、第一艦隊司令長官を歴任した。第一艦隊司令長官時代に行った猛訓練は「月月火水木金金」といわれ、後に同名の軍歌が作られるに至った。