中原烽火甚嚣尘上之时，长江流域也正在群龙乱舞。李渊在北方开打时，绝对没有忽略南方，李渊在南方也积极布下了自己的棋子。在此先介绍一下长江流域及南方几支大的地方割据势力。首先讲的是杜伏威、辅公祏集团。
杜伏威、辅公祏都是齐州（今山东省济南一带）人。两位没有什么家族背景，杜伏威家境贫穷，平时饭是吃不到的，靠偷抢为生，习惯的作案手段是在墙外挖洞入室。唐代建筑大都是以土筑墙，自然好挖，现在肯定不行。杜伏威还有一个铁杆哥哥，是以放羊为生的羊倌辅公祏。羊当然不是辅公祏的，是辅公祏姑父的。辅公祏多次伙同杜伏威把放的羊给偷偷吃掉，辅公祏姑父面对这种肆无忌惮的监守自盗行为，终于忍不住向官府进行了举报。杜伏威、辅公祏为躲避官府抓捕，于是落草为寇，当时杜伏威只有16岁，因为勇敢、义气，就被一帮人推为首领。这帮人开始去投靠在长白山（今山东省邹平县西南的会仙山）一带活动的义军左君行。这时的杜伏威也就几个人，自然入不了左君行的法眼，没有把杜伏威当回事。613年，杜伏威自立门户，把部队拉到淮南一带流窜，自称“将军”。这时在下邳县（今江苏省睢宁县西北）有一支以苗海潮为首的武装力量。杜伏威派辅公祏同苗海潮谈判，话讲得很能体现一个盗贼的性格：“我们如果不合并起来，肯定被抓，一定要联合。要么以你为头，要么以我为头。你要不听我的我们就打一战决定！”苗海潮很知趣，率众投靠了杜伏威。这时隋校尉宋颢率兵讨伐。杜伏威佯装北逃，把隋军诱入芦苇丛中，在上风头放起火来，隋军混乱之中慌不择路，陷入沼泽，全部烧死！
杜伏威有了点名气后，就有人对他来神了。海陵县（今江苏省泰州市）有个赵破阵武装势力，实力比杜伏威强多了，也拿出杜伏威对苗海潮的套路，派人要杜伏威投靠过来。赵破阵势力大，主动叫你来已经算是很看得起小杜了。杜伏威的出手更是惊人。他先是让辅公祏整好队伍在赵破阵营外备战，自己带着十几个人抬着牛肉、酒来拜见赵破阵。赵破阵十分高兴，亲自把杜伏威引进幕房，把手下头目叫来尽情饮酒，喝得正热闹时，杜伏威突然杀死赵破阵，赵破阵手下头目目瞪口呆之下全部投降。这次杜伏威以小并大，势力大增，率部跑到安宜县（今江苏省高邮湖畔的宝应县一带）大肆抢掠了一番。只有抢掠到了钱财才能稳定军心啊！
顺便在此明确一个现象，在古代军队作战，进行抢掠是正常的，就像狗要咬人一样；而一支军队在作战后没有对新占领地进行屠城，那到像人咬狗一样稀奇，通常都要在史书中记下一笔。
安宜县的屠城让在江都的隋炀帝都知道了杜伏威，隋炀帝于是派遣右御卫将军陈稜带精兵八千讨伐。陈稜不傻，对方情况不明就不急于开战。而杜伏威刚刚分赃，军心正热乎，急于开打，于是给陈稜送去一封信和一套妇女服装，在信中大骂陈稜为“陈佬”。陈稜大怒，立即组织同杜伏威决战。杜伏威亲自在陈稜阵前挑战，陈稜部将趁其暴露，一箭射在杜伏威的额头上！杜伏威毫无惧意，指着射箭的部将大骂：“不杀你，我额头上这支箭就不拔！”催马冲上来，部将吓得跑回军中，杜伏威顺势闯入陈稜军阵之中，呼喊着左冲右突，所向披靡，硬是把那位部将抓住，逼着其把自己额头上的箭给拔了出来，随后杀掉这个倒霉的部将，提着其脑袋又冲入陈稜军阵之中，砍杀数十人，陈稜军队一下子溃散了，陈稜灰溜溜跑回了江都。杜伏威乘胜占领高邮、历阳一带（也就是现在江苏、安徽两省长江以北地区），并自称“总管”。江淮一带大大小小造反势力争相投靠“杜总管”。
势力大了，杜伏威放手打造了一只贴身的精锐武装，这支队伍有5000人组成，杜伏威直接指挥，取名“上募”。就是现在看，这么大规模的敢死队的确不多见。杜伏威对这支嫡系部队是严格管理，优厚待遇。他自己同“上募”们一起生活，同甘共苦，打仗到关键时刻就把这支队伍派上去，战斗结束时一个一个检查，如果谁背后中箭就杀掉，因为背后中箭只有背对战场才能造成。杜伏威对“上募”的待遇也是让人想象不到的，除了战争中缴获的财物坚持全部赏赐外；对战死的“上募”还要把其妻、妾统统杀掉殉葬。
写到这里，我忍不住要讲两句：士兵牺牲了，不但不慰劳家属，还要杀掉妻妾，现代人是无法理解了。其实这里面有一个关键问题，就是当时妻妾是私人财产，子女却是家族抚养，把妻妾杀掉对子女的抚养并没有太多的影响。看唐人经常称呼人“杜十四”、“王十五”之类，数字其实是堂兄弟按年龄的排行，绝不是亲兄弟的排行，后面我们还要详细谈及家族在唐代社会管理中的地位，这几句算是引子吧。
在杜伏威的“精心”管理下，上募这只队伍十分强悍，可以讲是所向无敌，杜伏威也威名远扬，各派势力争相拉拢。宇文化及杀掉杨广后要任命老杜为历阳太守，杜伏威不稀罕，在长江下游同沈法兴、李子通、陈稜等人斗的不亦乐乎，地盘也不断扩大。把首府搬到丹阳（今江苏省南京、安徽省马鞍山一带），进行了一系列政治管理：选用人才，开发维修战斗装备，减少赋税，废除殉葬制度，强化社会治安，谁要干自己以前那种盗贼营生——杀！整顿吏治，贪污受贿者——杀！杜伏威上表杨侗，请杨侗拜其为东道大总管，封为“楚王。
人有的时候进步真的很快，几个月前，杜伏威还在大搞殉葬，随后就废掉了，从这里可以看到社会文明一步步是如何进步的，这决不是杜伏威一个人思想的变化，而是社会整体发展影响了杜伏威的决策。当然杜伏威自己也在进步，几年前他是贼，现在他坚决不许人家做贼了。
619年10月24日，杜伏威又同李渊联系上，被任命为淮南安抚大使、和州总管。620年7月5日，李世民在围攻王世充时，李渊又加拜老杜为东南道行台尚书令、江淮以南安抚大使、上柱国，封为“吴王”，赐姓为“李”，并记入家族谱中。同时封杜伏威之子杜德俊为“山阳公”，辅公祏拜为行台左仆射，封“舒国公”。财物的赏赐那是再自然不过的。杜伏威还派出陈正通、徐绍宗将军支援兵力吃紧的李世民。杜伏威只要不到中原捣蛋，保持中立就是李世民的福气，现在已经成为唐政权在长江下游最重要的稳定力量。