安倍氏和源平等家族一样，都是“皇别”的氏族。他们的直系祖先，是孝元天皇的皇子大彦命。孝元天皇是日本第八代天皇，那时的日本还是在神话时代。所以有关当时的记载，都在《古事记》当中。据《古事记》记载，大彦命是孝元天皇的长子，作为四道将军之一，平定了北陆地方。又写做“阿倍氏”，平安后期活跃于陆奥、出羽，世代为俘囚之长。相传该氏族的祖先曾与神武天皇抗争，失败后从摄津逃至东北部定居下来。平安末期，安倍赖良、赖时，赖时之子贞任、宗任连续反叛朝廷，引发所谓“前九年之役”，最终被源赖义、义家统率的朝廷征讨军所剿灭。