公元617年7月22日，李渊组建大将军府。李渊号大将军，以裴寂为长史，刘文静为司马，唐宪的弟弟唐俭、温大雅为记室，温大雅及其弟弟温大有共掌机密，武士彟为行军司铠，刘政会、崔善为、张道源为户曹，姜谟为司功参军，殷开山为府掾，原右勋卫长孙顺德、刘弘基、窦琮、王长谐、姜宝谊、阳屯为左右统军。李建成为陇西公、左领军大都督，统辖左三统军；李世民为敦煌公、右领军大都督，统辖右三统军。柴绍为右领军府长史，派刘赡为西河郡通守。
建大将军府时，裴寂大做好人，把隋炀帝在晋阳宫的家底全拿来做人情，裴寂一下子向李渊军队提供了宫女五百人，米九万斛，杂彩布料五万段，盔甲四十万领。其它都能理解，就是这五百宫女真不知道如何供给军用，查遍史籍，关于这五百人的只有“进宫女五百”这一句话，再也没有下文。
大将军府的建立，表明李渊政权管理架构已经建立，有了较为完善的政权体系。李渊造反一步一步做的很踏实，根本不是土匪流寇，更不是一时性起，或被李世民所逼，李世民是组建不起来这样的大将军府的。