朱元璋设置了朵颜、泰宁和福余三卫，“其地为兀良哈，在黑龙江南，渔阳塞北”，安置这些投降的蒙古人，并封阿札施里为泰宁卫指挥，塔宾帖木儿为指挥同知；海撒男答奚为福余卫指挥同知；脱鲁忽察尔为朵颜卫指挥同知，要求他们“各领其所部，以安畜牧”。
这便是“兀良哈三卫”的由来，但洪武时代对之仅仅是羁縻而已，名义上属于宁王朱权管辖。燕王朱棣发动“靖难之役”后，就是先借助了兀良哈三卫蒙古人的支持，击败了坐镇大宁卫（今赤峰市宁城县）的宁王朱权，而后又向兀良哈三卫借得精锐骑兵3000，才有了夺位的基本武力。
“靖难之役”给了兀良哈三卫南下的机会。朱棣即位后，“遂将大宁都司掣于直隶保定府，所属营州等十数卫亦掣于畿内。宁王亦迁于江西布政司。却将其地分与朵颜等三卫达子居住，除官降印，为我藩篱”。朱棣将兀良哈三卫迁至原先大宁卫的位置，并与之逐步建立了贡市制度，援引其成为明朝的藩篱。
兀良哈三卫蒙古地处东蒙古（鞑靼）与明朝之间的缓冲地带，是“不能绝，亦不可绝”的耳目和藩篱，它们与大明、鞑靼之间的关系其实非常微妙。在明成祖征伐鞑靼之时，如何处理兀良哈三卫也是一个非常重要的问题，如果明朝稍弱，他们大概率会摇摆倒向鞑靼；反之若是残元继续衰弱，他们也不介意对故主落井下石
