太尉最早始于秦国，是治军领兵的重臣。
到了北宋时期，实际上沿袭隋唐时期的习惯，三师（太师、太傅、太保）、三公（太尉、司徒、司空）为朝廷官职中相对最高的品级，但是它们都没有什么实际职事，一般只是作为加官。或者作为升迁资序所用，并没什么执掌的职力。
而其中的太尉，在一开始时是在太保之下，但是从五代以来则不断提升，直至仅次于太师而在太傅之上，也就是太师、太尉、太傅这样的新顺序。
宋徽宗年间，重定武官制度后，太尉成为武阶官之首，而司徒司空则取消被少师、少傅、少保代替。
因为宋朝的太尉是武阶官的最高位，所以在官场上，对于许多升到较高官阶，但实际并未获得太尉之职的官员，也会奉承为“太尉”。
