裴世矩行至南康，聚集士卒数千人。这时，俚帅王仲宣进逼广州，又命部将周师举围困东衡州。
裴世矩与大将军鹿愿解东衡州之围，先后在大庾岭、原长岭击破叛军，斩杀周师举，一直打到南海。
王仲宣大惊，溃散而回。
后来，裴世矩安抚岭南二十余州，并承制任命州中渠帅为刺史、县令。
裴世矩回朝后，隋文帝在大殿慰劳，并对高颎、杨素道：“裴世矩率三千敝卒，一直打到南康，有这样的臣子，还有什么忧虑的呢！”
裴世矩因此被授为开府，赐爵闻喜县公，并担任民部侍郎，不久又改任内史侍郎。
后来，突厥强盛，而都蓝可汗之妻大义公主又是北周宗室女，因此常入侵边境。
开皇十三年，大义公主与随从私通，被长孙晟揭发。
裴世矩趁机请求出使突厥，游说都蓝可汗，让他杀死大义公主。
后来，大义公主果然被杀。
可见这厮的本事。
开皇二十年，史万岁击破达头可汗，却在回朝后被隋文帝冤杀。
裴世矩的战绩因此未被叙录，后奉命抚慰启民可汗，升任尚书左丞。
仁寿二年，独孤皇后病逝。裴世矩与牛弘参照《齐礼》，制定殡葬制度，改任吏部侍郎。