12岁时经人介绍到英国怡和洋行昌和轮船当西崽。两年后升为水手，以后又晋升舵工、领江，驾驶海船航行于世界各地。
1911年返国，转至美国花旗洋行当了3年船长。后到长江怡和公司当领江，往返于汉口至重庆一线。
1926年，任汉口海员工会和汉宜湘领江工会会长，与上海总工会主席周宝山交往甚密。同年10月，因敌顽将沿江-，盘查严紧，受周宝山之托，曾以领江职权，在武汉将10位革命同志接上船安排于官仓，并亲自全速领航，直驶城陵矶，且赠200银元予领队作路费上岸去长沙。
1954年7月，领航的民生轮船从宜昌向汉口行驶，途经新堤时，堤快被江水冲破，许多灾民在堤上呼救。他不顾个人安危，将三千余灾民接上船，平安驶达汉口，受到省、市的表扬。
1956年，参加全国群英会，在大会发言时，周恩来和彭真认出张洪山是1926年在汉将他们护送到城陵矶之人，并和毛泽东、刘少奇等中央领导接见了他。
晚年尚任长江航道高级顾问，常为长江航道事业的发展出谋献策。
1978年4月15日，在张家墩逝世。