中书仆射是西汉武帝时期,汉武帝为剥夺丞相职权,把国家权力从外朝转入内廷过程中逐步产生的。
汉武帝利用秦汉时期建立的中书、尚书体系,建立了中书令这个职务,《史记》记载司马迁担任太史公,天下计书先上太史公,后上丞相。司马迁在汉武帝时期就兼任了中书令。