元来は東方の「蝦夷(蛮族)」を征討することを任とする大和朝廷の役職。令外官。権限の大きさから臨時にしか置かれなかった。
やがて武家の棟梁の称号とみなされるようになり、源頼朝の鎌倉幕府の頃より、武家政権の為政者としての意味を持つようになる。
もちろん世襲制でもない。鎌倉幕府/室町幕府/江戸幕府も、将軍の代変わりの時は、形式上は、朝廷が任命する形式をとっていた。
清和源氏出身者が多く就任してきたことから、やがて征夷大将軍に就任するに相応しいのは清和源氏であるとされるようになった。なお、徳川家康はもともと源氏ではなかったが、家系図を譲り受けることによって源氏へと改姓した。