“千牛卫”这个名字，始于唐代，正式名称为“左右千牛卫”。在唐代，“左右千牛卫”是大唐南衙“十六卫”中的两“卫”，不领府兵，专责“掌执御刀宿卫侍从”，是皇帝内围贴身卫兵。晚唐以后，随着“府兵制”的瓦解、“南衙十六卫”的衰败，“左右千牛卫”也逐渐变得徒有虚名，变成了虚衔的一部分。五代、宋、辽、金，皆是如此。唐代禁卫军分为南、北两衙，左右千牛卫是南衙卫兵。南衙卫兵就是“十六卫”，是国家军队。唐朝实行“府兵制”，在“南衙十六卫”中，除左右千牛卫和左右监门卫不领府兵、只负责警卫外，前“十二卫”都遥领全国府兵。