広島市台屋町(現・南区京橋町)生まれ。旧安芸広島藩浅野家家臣・早川亀太郎の3男。10歳の時に母方の小林晴之助の養嗣子となり、少年期は尾道で育つ。海軍兵学校同期に次席卒業の野村吉三郎がいる。昭和初期に中将に昇進した頃は、両者とも将来の海軍大臣候補と称され、将来を嘱望される身となる。
「富士」「初瀬」「金剛」乗組員として実地を体験し、「浪速」砲術長となる。従来の慣例では大尉に昇進しなければ就任できない砲術長の地位に中尉の身分で就いた事からも、小林に対する期待が伺える。日露戦争中は、浪速砲術長、第2艦隊参謀、第3艦隊参謀となり以後1年間の間に第4艦隊・南清艦隊参謀を歴任した。
海軍大学校甲種第6期を優等で卒業。その前後に「厳島」、「石見」砲術長を歴任している。更に軍務局・教育本部の部員を兼任し、海軍省に勤務し山本権兵衛海軍大臣先任秘書官を勤め、海軍省に於ける地位を固めた。
明治44年7月にイギリス、次いで大正2年にアメリカへ派遣される。小林は教育本部・艦政本部の部員を歴任し軍政官の道を進む。通常では大佐職が就くべき異例の措置で「平戸」艦長に中佐で着任し、小林にとって唯一の艦長経験となる。2年後に海軍省先任副官となり、2年半後にイギリス大使館附武官として派遣されイギリス在勤は2年にも及んだ。
この滞在中、小林は英国航空の権威・ウィリアム・センピルの知己を得る。海軍航空の飛躍的向上を図るためセンピルを日本に招待した上で海軍航空隊の教育を依頼したが、センピルからは快い返答はなく、小林は任期を満了するまでセンピルと交渉を進めた結果、帰国した小林を追うようにセンピルは来日し、霞ヶ浦航空隊で2年に渡り航空隊を教育した。これがいわゆる「センピル教育団」で、この時に持ち込まれたイギリス製航空機をモデルに海軍航空機の設計が行われることになり、従来のフランス式航空を払拭した。
帰国後は第3戦隊司令官を経て財部彪・村上格一海軍大臣の下で軍務局長を務めた。この時に小林は軍縮条約遵守の思想に傾き、のちに対英米協調条約派の重要人物と看做されるようになる。大正15年に中将へ昇進。
昭和2年に開かれたジュネーヴ軍縮会議に於いて、斎藤実全権を補佐する首席随員として出席する。会議は米英の思惑がかみ合わず流産となり、日本に旨みが少ないものだったが、日本代表の中でも条約締結をもくろむ小林ら条約派と会議決裂を目指す原敢二郎次席随員ら艦隊派の間で不協和音が聞かれた。出発前の打ち合わせでも、小林が軍令部の信念のなさを詰問し、原が開き直る局面も見られたが、小林は対立を残したまま出発する羽目になった。見るに見かねた佐藤市郎中佐(岸信介・佐藤栄作の長兄)が小林に内緒で「いい加減にしないと船から海に叩き落しますよ」と原を脅し宥めて収拾する始末だった。
条約会議が決裂して帰国すると、練習艦隊司令官として少尉候補生の遠洋航海に従事。4年2月に艦政本部長となった時、またも条約派と艦隊派の対立に巻き込まれる。ロンドン軍縮条約が調印され、補助艦にも保有制限枠が設定された。ワシントン軍縮条約の期間満了とともに建造が始まる予定だった新戦艦の計画も破棄された。最新・最強の艦船を計画・建造する使命を帯びた艦政本部の立場からすれば、条約には反対しなければならないが、小林は自らの信念に基づき明確に条約反対を叫ばず、逆に水面下で条約を推進したのではないかと艦隊派から勘繰られた。
統帥権干犯問題に関わった山梨勝之進海軍次官が更迭されたため、小林が後任の次官となって財部大臣を補佐することになったが、財部は10月に自ら身を引いた。小林は引き続き条約派の安保清種大臣を補佐した。小林は次官を1年半勤めたが、この間にも艦隊派の勢いが強くなっていき苦闘した。小林が次官を降りた直後に中立派で上司の押しに弱い大角岑生が大臣に就任し、なし崩し的に条約派潰しが始まることになる。
昭和6年12月1日に連合艦隊司令長官に親補され、小林は久々に現場へ出たが、海上経験が殆どない小林にとって頼りになるのは、同時に第2艦隊司令長官に着任した末次信正中将の豊富な経験だった。条約派の小林と艦隊派の末次でうまくいくのかと、内外からも不安視されたが、1年半の任期を無事に過ごすことができたようで、両者の証言でも互いを批判する言動は一切出てこない。ただし、やはり艦隊を統率するには小林の経験不足は致命的で、徹底的に漸減邀撃作戦を研究した中村良三中将を相手に図上演習を仕掛けたものの、中村に散々翻弄されて惨敗する。連合艦隊司令長官在任中に野村と同時に大将へ昇進したが、任期が切れた11月15日軍事参議官となり現場から離れる。
2・26事件後、小林の命運が大きく変わった。陸軍はこのクーデターで多数の将官を免職させたが、陸海軍のバランスを取るために、海軍からも3名の大将を予備役に編入する事になった。犠牲になったのは山本英輔・中村良三・小林である。陸軍皇道派を積極的に支持していた山本と、第4艦隊事件の責任を取って艦政本部長を降りた中村には、各々に思い当たる節があったが、次官就任以後は全く落ち度がない小林の更迭は意外なものとして受け入れられた。そこで、条約派最後の大物として小林は粛清されたのだ、とする噂が広がった。小林の更迭をもって、ワシントン・ロンドン両軍縮条約に直接関わった将官の更迭が完了し、軍縮条約ではなく親米路線で共闘した米内光政以後の非戦派が海軍の異端派として頭角を現す転機となった。
昭和11年3月30日に海軍を追われ予備役に編入されるが、半年後に台湾総督に親補される。台湾総督は昭和に入り全て文官が就任しており、小林の就任は異例中の異例とされた。未だ海軍の南進策は構想段階で、台湾の軍事強化策すら定まっていない状況での就任である。小林は4年半の任期中に南進基地化と台湾の「皇民化」政策を推進した。南進策が固まり現役将官が総督となるのは、後任の長谷川清からである。
昭和15年11月に辞職以降は軍に関わりを持たず過ごしていたが、戦時中は真崎甚三郎、吉田茂らに近い存在と見られ、東條総理のグループから敵視され、憲兵が徘徊する中で小林の総理候補が考慮された事もあった。昭和19年8月に貴族院議員の勅撰を受け、大政翼賛会政治会総裁に就任。12月には小磯内閣の国務大臣に就任し、終戦直前の翌20年4月まで務め困難な時代の政局を担当した。しかし続く鈴木内閣に入閣せず、貴族院廃止の3ヶ月前に辞職して小林は表舞台から完全に去った。