李耿，字介卿，本秣陵后街人。赋性忠纯耿直，为晋愍帝朝太常卿。因见朝政危乱，国事日非，乃叩陛出血，极言直谏。愍帝弗纳，而耿仍廷争不已，帝遂怒，左迁李耿为始兴郡曲江令。建兴三年（315年）秋，李耿挈家之任，由虔入粤，道经南雄新溪，环睹川原幽异，宜卜筑安居，不禁浩然而叹：“晋室之乱始于朝士大夫崇尚虚浮，废弛职业，继由宗室弄权，自相鱼肉，以致渊、聪乘隙，毒流中土。吾既屏居远方，官居末职，何复能戮力王室耶!”于是，弃官隐居新溪之岸，肆志图书，寄情诗酒。其后裔子孙繁衍，人文蔚起，族望一方。