黄霖同志是四川省新都县人。早年毕业于四川陆军讲武堂，１９２６年底投奔北伐军，１９２７年到贺龙同志部队任第二十军特务营第一连连长，同年加入了中国共产党，并参加了“八一”南昌起义。１９２８年初他返回四川后，积极从事党的地下工作，曾任中共新都城区区委书记。１９３０年至１９３３年，他在上海从事党的地下工作，机智勇敢地参与组织和领导了群众性的抗日运动。在-的年代里，黄霖同志曾两次被俘、四次被捕，历尽艰险，经受了严峻的考验。“七·七”事变后，经我党营救，黄霖同志于１９３７年８月出狱，１０月到延安，后任中共中央机关总务处处长、马列主义学院研究室支部书记、鲁迅艺术学院院务处处长、中央管理局副局长等职务。
１９４５年１０月，黄霖同志随干部大队赴东北工作，历任中共长春市东荣区区委书记、桦南工委书记、游击大队政委、桦甸县委书记、省委副秘书长等职。１９４９年５月，他被派到江西工作，任江西省南昌市委书记和南昌警备司令部政委。１９５２年１２月以后，他任江西省委党校校长兼党委书记、省委常委、江西省副省长、省政协副主席等职。
黄霖同志于1985年10月13日在北京病逝，终年八十一岁。