张玉法，祖居台儿庄涧头集，1935年2月1日出生在一个较为富裕的农民家庭。幼年时，正逢兵燹天灾，到处充满饥寒与恐怖。民无安宁之日，学无安定之时。抗战胜利后，他才有机会读小学。
1948年夏，由于战争，峄县中学计划南迁，来涧头集招生。当时，张玉法才刚读完5年级课程，以同等学力报考被录取，接着随校南迁，最后到了澎湖。
张玉法在台湾读中学整整6年，以优异的成绩，拿到了高中毕业文凭，并考入了师范大学史地系。
在读大二时，张玉法协助同学撰写了中国历代战史史料。两年后，他参加中国历代战史的助编工作。这些都为他编书搜集了不少资料，并引起了他做研究工作的兴趣，他对“二十五史”的广泛接触也就是在这个时候。因此，他决定毕业后报考研究所，并为报考写了一篇论文，题目是《唐藩镇考》，约4万字。
张玉法师大毕业后，报考台大历史研究所未果。面临着就业问题，按规定，师大毕业后要分到中学实习一年。在师大历史系主任沙学竣的帮助下，张玉法进入省立基隆中学实习。实习结束，接着应召服预备军官役。
报考台大研究所的失败，并没有使张玉法气馁，他又考入了政大新闻研究所。在读新闻研究所二年级时，他拟定了题为《先秦时代的传播活动及其对文化与政治的影响》论文。在诸位老师的指导下，论文高分通过，并被推荐给嘉新基金会出版。在读政大新闻研究所时，为了生活，他仍在基隆中学任教。毕业后，他希望留在政大继续做大众传播史的研究，苦无机会。后以修习3年新闻课程的基础，报考新闻行政人员，结果以优等录取。但除花60元，换取了一个及格证外，却一无所获。万般无奈，他只好硬着头皮写了封自荐信，寄给曾经教授他中国近代史的近史所所长郭廷以，表示对研究近代史有兴趣，拟定某月某日带论文前往寓所拜见。郭廷以并未回信，他却按时前往。郭廷以并未让他进门，只说看看论文再说。一周之后，近史所来了通知。郭廷以约他面谈后，就安排他一个标点《四国新档》的工作。
张玉法进入近史所的头几年等于学徒，做些档案标点、报纸剪贴、史料调查、口述历史访问等工作。郭廷以看他勤奋好学，便劝他利用余暇时间做20世纪的中国史研究。张玉法从此走上了中国史的研究道路。他研究的第一个专题是《清季的立宪团体》，欲透过清季立宪派的活动，了解现代中国的改革运动。论文写出，约30万字。郭廷以找人审阅后，认为可以出版，但张玉法觉得未有把握。就在这时，福特基金有资助近代史研究人员进修的计划，蒙郭廷以的推荐，张玉法就带着《清季的立宪团体》初稿前往美国哥伦比亚大学做研究，兼读学位。
两年留美，收益匪浅。张玉法归来后所做的第一件事，就是把《清季的立宪团体》整理出版。此时，他对这本书已具信心：一是对美国各大图书馆的藏书作了一次扫描，二是对中外学者在这方面的研究作了广泛的了解。这本书是他研究中国现代史的奠基，通过这本书以及在哥伦比亚大学所撰写的《西方社会主义对辛亥革命的影响》，使他对辛亥革命前后的中国有了较深刻的认识。接着张玉法就着手对辛亥革命本身进行研究，题目定为《清季的革命团体》，从搜集资料到撰写成册，花费了3年时间，约40万字。此书于1975年出版。后不久，应李国祁、张朋园之邀，参加了《中国现代化的区域研究》(研究1860—1916年间中国沿海、沿江各省的现代化发展)课题的研究工作，张玉法承担山东省的研究工作。他虽是山东人，但生长在内地农村，离开山东时不过14岁，对山东的印象不深。但每个人对自己的乡土都有潜在的兴趣，既然有机会研究，那是责无旁贷。在研究过程中，张玉法又产生了新的思想，便约同陶英惠、赵儒生等人，与山东-学校的老校长杨展云函商，请李国祁号召同学、同乡捐资办文献。在各界同乡的大力支持下，由张玉法等人主编的《山东文献》季刊于1975年6月20日创刊，现已刊行逾百期，发表文章逾千万字。
张玉法同其他参加《中国现代化的区域研究》的人员一起，通过3年半的辛勤努力，分别完成了对粤、闽、浙、台、苏、鄂、湘、川、鲁、冀和东北三省等13个省区的研究。之后，由张玉法主持，依据1860—1916年间的区域现代化研究的成果，广泛探讨全国性的现代化的问题，包括工业、农业、交通、军事、行政和社会等方面。他本人所研究的题目是《近代中国的工业发展》。《中国现代化的区域研究———山东省》于1982年2月出版。美国《亚洲学报》发表了研究济南市的著名教授包德威的长篇书评，给予了很高的评价。
从事研究和教学工作的人，大都有写书、编书和译书的经验。张玉法所写的第一本书，是他在政大新闻研究所的硕士论文《先秦时代的传播活动及其对文化与政治的影响》，于1966年由嘉新基金会出版;他发表的第一篇学术论文《从北伐到抗战的报业》，收在1967年政大新闻研究所出版的《中国新闻史》里。此后，因为在台湾中央研究院做研究工作，又在各大学兼课，编书和译书的机会更多，有些是研究近代史所例行的工作，有些则是业余的兴趣。但张玉法认为，专著和论文大部分是象牙塔里的东西，读者群很少，社会影响不大，就利用学术研究的成果写教科书，先后撰写了《中国现代史》、《中国近代现代史》、《中国现代史略》等书，获得较大的社会反响。他在教学中感到学生课外读物不足，讨论问题和写研究报告很吃力，就决心编一套《中国现代史论集》，约王克文、朱云汉帮忙，分别搜集材料，请人撰写或翻译论文。多方努力，几经周折，10辑书出齐，费时3年。在此期间，张玉法还把历年发表的有关史学方法和观念的文字编集起来，题名为《历史学的新领域》。在哥伦比亚大学进修时，他还曾与李又宁博士合编了《清季革命期刊叙目选辑》和《清季立宪期刊叙目选辑》。李又宁博士还把张玉法的《清季的革命团体》中的一节《妇女—新生的社会力量》译成英文，发表在她所主编的杂志上。
学术会议是推动研究工作的媒介。张玉法多次参加国内外的学术会议，提交论文，广泛交流。1978年3月，张玉法与吕实强、张朋园应亚洲学会的特别邀请，代表近史所《中国现代化区域研究计划》的同仁，前往该会报告研究成果。1982年，他与秦孝义等4人受亚洲学会之邀，参加其年会中特别举行的纪念辛亥革命70周年讨论会。这次是海峡两岸学者第一次面对面地讨论问题，影响较大，海内外传媒争相报导。他先后提交的论文有《20世纪初年中国的农业改良》、《学者对清季立宪运动的评估》、《光复会与辛亥革命》、《辛亥革命的性质与意义》和《20世纪初年的自由主义运动》等。
1975年8月，张玉法接任近代史研究所(台湾〉所长的职务。他的治所理念主要有4点：其一，延聘高学位、训练优良的人才;其二，注重人事编组，请热心同仁共同推动;其三，学术标准国际化;其四，让同仁开拓自己的研究空间，在行政上给予最大的支持。他任6年所长期间，大体依照上述的观念，使近史所大有发展。而在推动所务之暇，对自己的研究工作从不放松，6年出版专著3种、论文30余篇、书评5篇，出版套书3种。
张玉法于1991年8月卸职所长，专任研究工作。1992年当选为台湾中央研究院第19届院士。
张玉法对海峡两岸的学术交流非常重视，自1989年起多次来大陆，除省亲以外，或参加学术会议，或应邀演讲，或拜访学术机构。1990年8月3日至6日，参加了在孙中山的故乡广东省中山市翠亨村举行的“孙中山与亚洲”国际学术讨论会;1993年4月8日，参加了在他的家乡台儿庄举办的台儿庄大战胜利55周年国际学术研讨会，均提交了研究论文。他说:“研究中国现代史是个大课题，一个人的力量是渺小的，海峡两岸的学者必须携起手来，开通风气，广泛交流，多出版研究成果，使海峡两岸真正成为中国现代史的研究中心。”