吴与言(生卒年不详），字志默，湖寮镇人。父大宾，以岁贡任宁国府教授。与言于明嘉靖四十年(1561)乡试中举人，四十四年中进士，授汉阳府推官，主管一府刑狱。任职期间，鞫断冤狱，终以执法不阿，与当权者不合而受排挤，调任杭州府同知。三年后，提升为兵部职方司员外郎。不久，父死而归家服丧。万历二年(1574)服终，补调为户部郎中，转任职方郎中。职方掌握武职进退升降权，攀附说项者甚多。与言饬令守门人：凡武人私自来访，不予接纳；以公事进见或投送文书者，公署接见、交接；凡请托送礼，一律拒收。办事秉公，诸将心服。居职期间，前后向万历帝条陈巩固边防策数十项，均极中肯。为使蒙古右翼土默特万户首领俺答受封纳贡，他参与其事而立功，甚得兵部尚书谭纶的器重。
万历五年(1577)，他暂充礼部试评选官，以评选准确，被称为“藻鉴”。这年，兵部尚书谭纶逝世，与言跟继任者王崇古意见不合，被调出京任江西左参议，转运米粮供应京师。三年中，江淮之间，船只百艘，来往直达，无误期，无失事。万历八年，朝廷考绩，与言晋升为四川按察副使，驻节多民变的重庆。他重于抚恤，不久兵政、吏治均渐被整饬。万历九年，竞受排挤，罢官回乡。
与言平生慷慨好义。居乡常周济急难，族内常靠他接济者数十人，乡人都颂扬他为“德人”。