刘存业很小的时候，父亲便去世了，他对母亲极为孝顺。刘存业自幼聪颖不凡，督学张习很敬佩他的才学，认为将来必为天下之士。成化十九年（1483)他乡试夺得第二名，弘治三年（1490）高中榜眼，授翰林编修。当时彗星在天津出现，刘存业奉诏上疏，议论时政，多被采纳。
武宗即位，刘存业充经筵讲官，与修《孝宗实录》，受到皇帝嘉奖，赐与金帛。正德元年（1606）五月，正遇孝宗皇帝去世十三个月，刘存业参加完恭祀于山陵的祭奠活动，回来后便一病不起。儿子刚刚8岁，守候在父亲身旁。刘存业临终还以《实录》未编完，母亲的养育之恩未报，而遗恨万千，言罢即逝，士论惜之。
刘存业的从弟刘存礼检点兄长的家藏，发现所剩金钱无几，不足以为其治办丧事，还是刘存业的门人刘龙出面为其主持丧事，加上乡绅们帮忙，护殡南归。刘存业终年仅47岁。