张显宗6岁时，父亲便去世了，是母亲把他一手带大，并施以教育，后以文学著名。
洪武二十三年（1390)，张显宗28岁，参加应天府乡试，获得第二十六名。翌年会试夺得第二十名。殿试荣登榜眼，授翰林编修。奉命，随侍亲王游历秦、晋、燕、周、齐诸藩国。洪武二十九年(1396）六月，升太常寺丞。国子监祭酒宋纳去世，继任者多不称职，七月，朱元璋命少年进士张显宗临时接任国子监事务。当时士风久弊，张显宗便上疏十条改革旧习、申明学规的建议，受到朱元璋的赏识，于是，升他为国子监祭酒。张显宗严毅方正，五鼓即升堂讲读，课试皆有程式。当时国子监的文庙很狭窄，他便命人将它拆除重修；桥门占道残破拥挤，他又请来工匠“凿而通人”。“视师儒贤者礼之，■邪不检者汰之。”由此太学风气一新。太学生们也争相努力学习，严格按学规办事。一时间，凡从太学出来的人，都在社会上有一定的名望。如后来也成为国子监司业的吴溥就是张显宗的得意门生，当时受到张显宗的特别重视。后来吴溥参加礼部会试夺得第一名，会元。张显宗的教育之法，至今还四方传诵。
建文初年，张显宗被提升为工部右侍郎，领旨往江西招募丁壮，号召百姓捐粮充实军饷，以抵御燕王的军队。成祖即位(1403)，江西的军卒将张显宗等押解至南京，但成祖并没杀他，而将他贬谪到兴州（今河北承德）。永乐五年（1407)，平定安南，改他为交趾左布政使。任上，他积极实施安抚政策。交趾山区多旱地，人多食杂，张显宗便带人勘探水源，倡建大型土陂，开拓水稻田，发展农业，对西南疆域的开拓贡献显著，交趾人视他为父母官。永乐七年（1409)，张显宗卒于任上。交趾人十分感怀他的恩德，为他建祠祭祀。朝廷追封他为工部尚书。
张显宗性行孝友，政事敏达，处事公正，读书过目成诵。奉命撰述《诸司职掌》、《逆臣录》、《忠义录》等。他去世后，吴溥为其撰写的铭文高度评价了他的一生：
惟公之教，有绳有矩，百川沧溟，群物时雨。
惟公之政，仁摩义抚，远人来归，如就父母。
曰政曰教，由孝而推，仰瞻斯言，卓乎嵬嵬。
著有《太学规制》、《辅教录》、《警愚录》等。