张洛书家过去的生活比较殷实，其祖父是当地有名的郎中，其父亲也是知书达理之士。但是，到张洛书五六岁时家道中落，正在读高小的兄长也不得不辍学回家务农。尽管如此，一家人还是节衣缩食，尽量供张洛书读书。
张洛书是家中次子，兄长叫张贤书（张力群，1927年9月入党，曾任中共广北县委书记），三弟叫张云书。张洛书这个名字是祖父借“河图洛书”之意为他取的，含有“望孙成龙”之意。
张洛书从8岁起在本村入学，12岁时就考入了延集高等小学。五四运动爆发时，张洛书正在延集高小上学。一次，广饶大王桥一带会聚了3000多人在三官庙举行 日货大会，年仅14岁的张洛书登台演讲，大声疾呼：“ 日货乃救国之道，坚持三年必能打退日本的侵略。”
张洛书于1921年考入山东省立第一师范学校。山东省立一师是山东省的高等学府，中国共产党的创始人之一王尽美当时正在一师就读，张洛书深受其影响，并很快成为学生运动中的积极分子。1922年下半年，经王尽美介绍，张洛书加入中国社会主义青年团。
1924年第一次国共合作后，张洛书又以个人身份加入国民党，后担任国民党省党部常委。1926年1月，他作为山东的代表之一，去广州参加了国民党第二次全国代表大会。大会闭幕，他带了许多宣传品回到一师给同学们传阅，其中有《大会宣言》、《向导》周报、《猛进》周刊、《中国青年》、《建国方略》等。这期间，国民党二大山东代表、时在中共山东地方执行委员会负责共青团工作的丁君羊发现张洛书的革命热情，遂介绍他加入了中国共产党。因为他的革命活动很快就引起了校方的注意，被学校当局除名。
1926年，经王景陈介绍，张洛书持署名“王文太”的来信，与丁君羊一起，以教员身份，到铁山地区领导农民运动。同年7月，国民革命军誓师北伐，张洛书积极响应山东党团组织的号召，组织进步青年大力宣传北伐的重大意义，宣传“耕者有其田”“反对苛捐杂税”“ 日货”等主张。还喊出了“打倒张宗昌”“打倒帝国主义”等口号。不久，他又与同是丁君羊介绍入党的日照籍党员安哲和牟春霆等众多进步青年一道，去武汉投考了中央军事政治学校。并有幸聆听了毛泽东、恽代英等共产党领导人的演讲，懂得了更多的革命道理，也学到了许多军事知识。
1927年蒋介石叛变革命后，张洛书根据党组织的指示立即秘密返回山东。5月，国民党的反动势力尚未达到山东，中共山东区执委决定派他去潍县，协助中共潍县地执委书记庄龙甲一道改组潍县的国民党，并最终产生了由共产党中的跨党党员和国民党左派组成的国民党潍县执行委员会和监察委员会。
针对南方革命已处于低潮，但北方革命尚未受到普遍影响的实际情况，中共山东省委决定“深入工人群众，领导工人进行政治和经济斗争，同时有计划地发展党的组织”，派张洛书到淄博矿区接替卢福坦负责矿区党的领导工作。
张洛书来到淄博矿区后，根据省委“保存力量，发展党员，巩固组织，迎接革命高潮”的指示，首先领导建立了中共铁山特支，选拔李清贵任支部书记。不久，他又和省委组织部长丁君羊一起，领导淄川炭矿的里工和外工建立了两个团支部。
在淄川，为了发动工人们团结起来进行斗争，他经常和 积极分子车锡贵、蒲文泉、张德水、刘洪庆等在一起，不断深入到北工厂、东工厂和南工厂的工人中开展工作，或以串亲访友为掩护到解庄、杨家庄、梁家、车庄、寨里、双沟等村的工人、农民家中了解情况，展开宣传活动。在思想发动基本成熟的基础上，他再从基层入手，按照20人一小组、100人一大组分别选出工人代表，帮助成立矿区工会。
1928年1月25日、26日，全矿选出的100多名工人代表会集在沈马庄龙王庙举行了工会选举大会。5月，淄川炭矿工会在洪山镇余盛街正式成立。其间，张洛书于2月被任命为中共淄张县委书记。这时，通过炭矿工会领导的工人已经超过千人。在张洛书的提议下，矿区成立了工人纠察队，并还在十行、八行、南旺和石谷成立了工人纠察分队，以铁镢和木棍等为武器，保卫工会和工人们的人身财产安全。
看到淄川工人运动蓬勃发展起来，地方反动势力和资本家都感到十分惊恐不安。他们一边阻碍工会的活动，一边策动民团、商会不断到工会来滋事挑衅，还放言要挟说要裁减工人，其目的就是要迫使工会解散。对此，张洛书和李敬铨等工会领导多次召集工人代表和积极分子开会，认真分析研究对策，并决定于6月25日6时举行全矿工人总 ， 资本家无故裁减工人，并要求增加工资。
6月24日，炭矿工会印发了由张洛书、李敬铨等起草的《 宣言》，正式向鲁大公司淄川炭矿提出了22项条件，限6小时内答复，但资方很快就拒绝了他们提出的条件。于是，25日拂晓，淄川炭矿所属的十里旺、南旺和大昆仑分厂的4000余名工人全部 。日方资本家一看立马慌了手脚，调动驻矿的日军前来镇压，不料却遭到了工人纠察队的强力反抗，并夺下了日军的部分枪支。后经调解，资方迫于广大工人的压力，终于答应不再打骂工人、不付半工和不扣工具费等条件，这次 取得了初步胜利。
1928年夏，反共势力极为嚣张。国民党临淄县党部书记吴镜仙等人知道铁山有共产党组织，便勾结半官半匪的县警备队长朱全义等，密谋血洗铁山，逮捕屠杀共产党员，借以向国民党报功请赏。铁山地区党员们得知消息后，无比愤慨，立即在铁山东坡召开会议，计划组织工人武装暴-动 。张洛书闻讯，立即从张店赶往铁山，向党员们转述了邓恩铭的意见，严厉批评这种做法是“走自我毁灭的 政策”。并耐心教育大家认识当前主要的斗争方式是“缩小目标，保存力量，发展力量”的道理。同时，张洛书又利用上层社会关系，联合教育界和社会贤达，一致声讨吴镜仙。在强大社会舆论压力下，吴镜仙、朱全义陷于四面楚歌，最后不得不带着县党部灰溜溜地撤往泰安。敌人血洗铁山的阴谋破产了，铁山的党组织和工会有了更大的发展，党员发展到数十人。
1928年冬，山东早期党员、曾在省委担任重要职务的王复元、王用章弟兄相继叛变投敌，随后便带领“捕共队”大肆破坏省内各地党组织。党中央获悉这一情况后，出于安全上的考虑，张洛书被调离张店和淄川，改任潍县临时县委书记。10月，潍县县委又遭敌破坏，张洛书再赴高密任县委书记，但不久即被反动当局逮捕。在狱中，他受尽了折磨，但始终未暴露自己的真实身份。这样，家中托人作保，将他保释出来，后回广饶原籍治病。
但是，张洛书的病情尚未痊愈，很快就又接到了上级让他去苏联学习的通知。于是，他即刻打点行装，按照党组织指示的路线辗转进发。当远行到苏联东西伯利亚贝加尔湖以东的赤塔时，心脏病突然发作，后被同行者劝回到哈尔滨就医。等到病情稍有好转，他便去沈阳与满洲省委取得联系，一边继续治疗，一边做秘密工作。
1929年6月，中共中央决定派刘少奇出任满洲省委书记，同时派丁君羊协助刘少奇开展工作。他们于7月中旬抵达沈阳后，很快与张洛书接上关系。不久，丁君羊作为满洲省委常委兼组织部部长被派往哈尔滨巡视工作。临行时，他决定带着张洛书一同前往。7月下旬，经丁君羊推荐，张洛书参加了由哈尔滨县委改组的市委领导工作，任市委常委，分管组织。
在张洛书参加新改组的哈尔滨市委领导工作时，“中东路事件”刚刚发生。当时，中央给满洲省委的指示是“必须集中所有的注意力，对付这一事变”，并且要求满洲省委“在哈尔滨的工作要特别布置”。9月中旬，刘少奇和省委常委孟坚出狱(他俩是8月22日在奉天纱厂大门外被捕的)后，孟坚先到哈尔滨，刘少奇于下旬也来到了哈尔滨。从此，张洛书就在刘少奇的直接领导下工作。10月中旬，刘少奇在对中东路工人斗争作了具体部署后，返回沈阳。
1930年1月11日，刘少奇又第二次来到哈尔滨。张洛书积极协助刘少奇，把中东路和其他各业的工人运动不断引向深入。之后，他被提拔为省委候补委员。8月，根据中共满洲省委的指示，哈尔滨市委又改组为中共北满特别委员会(简称北满特委），由孟坚任特委书记兼管组织，任国桢负责宣传工作，张洛书负责工会工作。同年11月，新改组的满洲省委决定调张洛书任奉天市委书记。上任后，他紧紧把握省委部署的工作重点，很快就恢复了遭受破坏的党组织，并新建了一批党支部，使奉天党的工作出现了新的转机。但是，由于当时“立三路线”的影响，致使“左”倾思想仍然存在并进一步扩大，给党的事业造成了损失。
1931年4月，满洲省委对奉天市委领导作了调整，由省委常委、宣传部部长刘昆(又名赵毅敏)兼任奉天市委书记，张洛书则专任职 动负责人，并兼任《百花报》的编辑。九一八事变后，奉天市委改建为奉天特委，统辖南至大连，北至清源，西至北镇、东至安东各地的地下党组织及奉天市内各支部，任命张洛书为大连市委书记。
此时的大连，日本侵略者的统治非常残酷，戒备极其森严，党的工作难度很大。为此，张洛书首先向各党支部书记传达了省委指示，一边整顿组织，一边加强教育，使党员们的精神重新振作起来，充满信心地投入斗争。然后，他又选择满铁场、码头、市政、油坊等单位作为基点，通过开展经济斗争培养积极分子、建立工会、发展党组织。当时，他因为没有正当职业，连吃饭都无法保证，上级又无力供给活动经费，无奈他只好去高田铁工厂当苦力，挣得微薄工钱聊解燃眉之急。三个多月后，他凭借着自己的文化水平较高，又经友人帮忙，终于在刘家屯开办了一处“志诚书房”(实为私人小学)，借以维持生活，同时也能开展工作。
由于他的英语、国文和算术水平都较高，很快就成了这一带有名的“圣人”，人人都喊他“张先生”，一些青年工人也慕名来求教，最多时达到30多人。在这个阶段，他先后发展了滕开君、桑风岐、戴云清、袁松岩、王明东等多人入党，还建立了满铁场、三菱油坊、三泰油坊3个党支部，使党员人数上升到36人。后来，他又相继在满洲日日新闻社、码头、政记公司、关东州厅土木课、窑业等地建立了党支部。
1933年10月，与安哲一起转移到大连的原日照暴-动 北路起义军副总指挥于贡芳(又名于冀贤)叛变投敌，出卖了大连市委从日照转移来的十余名党员。20日，张洛书在“志诚书房”被日军逮捕，连同他写给奉天特委的大连市组织情况报告也被敌人截获，大连党团组织遭到彻底破坏。开始，张洛书为隐藏身份，只说自己是一介教书先生，后来敌人叫来于贡芳当堂对证，张洛书才承认了自己的真实身份，并被以“扰乱社会治安”罪判处10年有期徒刑。
1943年10月，张洛书因病情加重且刑期已满获准出狱，但仍被敌人严密监视。1945年8月日本宣布投降后，被日本侵占长达40年之久的大连终于被苏联红军解放。张洛书怀着无比兴奋的心情，拖着久病的身躯，立即给苏军司令部写信，请求帮助寻找中共地方组织，并主动联络被捕出狱的党员开会，主持成立了中共大连临时市委，成员有朱秀春、桑风岐、王其焕、白全武，由张洛书任市委书记。10月，中共中央东北局派韩光到大连主持党的工作，并且充分肯定了大连临时市委的工作，还让张洛书、唐宏经等人重新入党，协助开展工作。
然而，此时张洛书的病情正日益加重，身体状况也是每况愈下。1946年3月14日病逝，年仅41岁。
在张洛书的影响带动下，他的家族中一共有8人在抗战前参加革命，其中7人(张硕年、张晓芹、张云书、张龙湘、张志刚、张觉民、张联钰)成为革命烈士。