两江的来源最早能够追溯到明朝，明朝时期大明政府在全国设置两京十三省，其中有两京是京师（北直隶）和南京（南直隶），北直隶排榜首，南直隶排第二。其时的南直隶的统辖范围很大，管着现在的江苏（其时上海属江苏）和安徽。清朝沿用了明朝的行政区划，但将南直隶改成了江南省，和江西省统归两江总督管，所以就有了“两江”的说法。
康熙时期，江南省被拆分红江苏和安徽两省，从此江苏和安徽各奔前程，不过两江总督依然沿用了原来两江总督的称呼。
因为其时的两江是中国经济重心，是清王朝赋税赋税的重地，也是人文荟萃之地，所以两江总督的位置十分高，论实权其实并不比直隶总督差。
