兴平元年(194年) ,曹操因父亲曹嵩被杀而迁怒于陶谦，于是发兵攻打徐州。陶谦求救于刘备,刘备和关羽率千余人前往救援。曹操兵退后，陶谦上表朝廷，请求授刘备为豫州刺史,关羽与刘备屯兵于小沛。而后在陶谦等人的再三相让下,刘备领徐州牧。
建安三年(198年) ,刘备军夺取了吕布军队的黄金，吕布派遣高顺率军攻打刘备。曹操遣夏侯惇前来帮助刘备，被高顺打败。同年九月,高顺击溃刘备。于是, 曹操亲自率兵东征吕布。刘备与曹操共擒吕布于下邳,夺得徐州。曹操任车胄为徐州刺史。刘备、关羽、张飞等人便跟随曹操班师回许都。
后来,袁术北上投奔袁绍,刘备奉曹操命拦截袁术于徐州,刘备趁机袭杀徐州刺史车胄，命关羽守下邳，代行太守职务，刘 备则返回小沛。
建安五年(200年) ,曹操派刘岱、王忠 攻打刘备,却被刘备击败,曹操于是亲自率领大军出征,刘备败逃投奔袁绍,关羽战败 被生擒，被带到许都,曹操待以厚礼,任命为偏将军。
后来,袁绍派大将郭图、淳于琼、颜良攻 东郡太守刘延于白马。荀攸提出了声东击 西、轻兵掩袭白马的作战方略。曹操接受 了荀攸的建议,亲自率军救援。颜良大 惊，仓促应战。曹操命张辽与关羽为前锋 击之。关羽望见颜良的麾盖,策马冲锋, 刺死颜良于万军之中，又拔出佩刀斩得颜 良的首级,然后返还。袁军将领无人能挡,白马之围被解,曹操上表请求汉献帝封关羽为汉寿亭侯。不久,关羽就离开曹操,投奔在袁绍麾下的刘备。
