公元193年，袁术被曹操击败，来到淮南，杀死扬州刺史陈温，授命张勋为大将。公元194年，朝廷派马日磾来到淮南，传诏迁袁术为左将军，并任命依附袁术的孙策为怀义校尉。孙策年纪轻轻，却为袁术攻下了庐江。张勋从心底里佩服孙策。公元197年，袁术称帝，任命张勋为大将军，并联姻割据在徐州的军阀吕布，吕布不仅不答应，还杀死了使者。袁术便派张勋、桥蕤及不久前来归降的韩暹、杨奉等人共七部人马进攻吕布。吕布军谋士陈珪策反了韩暹、杨奉，袁术军大乱，于是被击溃。同年曹操进攻称帝的袁术，袁术令张勋等人留守蕲阳带，张勋抵挡不住，败退。公元199年，袁术病死，张勋收拢部众向南投靠孙策，半路被袁术旧部刘勋收虏。