耶鲁大学幼名菅太郎，出生在日本美作国久米南条郡羽出木村（今冈山县久米郡久米南町羽出木）的庄屋薮木家，为家中的次子。1877年10月，为了避免服兵役，被送给居住在神木村（今久米南町神木中）的亲戚片山几太郎当养子。1880年进入冈山师范学校（今冈山大学教育学部）学习，翌年退学并前往东京，在攻玉社当塾仆。1884年，在朋友岩崎清七（三菱财阀创建者岩崎弥太郎的侄子）的劝说下前往美国，半工半学，先后进入玛丽维尔学院、格林内尔学院、耶鲁大学学习。他研究西洋古典学，苦心研读柏拉图、索福克勒斯等人的着作，在1896年取得学位并回国。
虽然在美国学习牧师相关的专业，但他回国后没有当牧师的志向，却对起源于英国的美国社会福利运动产生了共鸣。在传教士Daniel Crosby Greene的帮助下，与朋友高野房太郎将神田区三崎町的自宅改立，作为基督教社会事业的据点。就这样，在1897年，日本最早的邻保馆“金斯利馆”（キングスレー馆）成立了。
片山潜以金斯利馆为中心，积极展开劳 动。同年12月又创刊了《劳动世界》并担任主编，为日本最早工会的成立发挥重要作用。1901年与幸德秋水参加日本第一个社会主义政党社会民主党。
1903年12月再次前往美国。翌年第二国际在阿姆斯特丹举行万国社会党第六回大会，片山潜出席了大会。恰巧此时发生日俄战争，他与俄罗斯代表普列汉诺夫一起，代表劳工表示反战的态度。
1906年日本社会党成立后加入该党。片山潜提出议会政策论（工人争取普选权），与幸德秋水的直接行动论（工人-发动革命）发生对立而分道扬镳。1911年，片山潜因指挥东京市电-而被逮捕入狱。1914年-美国。1917年俄国发生十月革命之后，片山潜在思想上开始支持马克思主义。此后，片山潜为美国共产党、墨西哥共产党的成立作出贡献，并积极投身于北美的社会主义革命事业中。
1921年前往苏联，担任第三国际常任执行委员会干部。他在国外指导日本共产党的成立事务，同时指挥着国际反帝同盟。
1933年11月5日，片山潜死于莫斯科。同月9日，15万苏联市民和第三国际领导人参加了他的葬礼。加里宁、斯大林、威廉·皮克、库恩·贝拉、野坂参三等14人为他盖上了棺材。根据苏联共产党的最高荣誉，他的遗骨被砌入了克里姆林宫的墙壁之中。