五次。
第一次是其在天宫被封了个弼马温，后来得知官位太小，并遭到别人的嘲笑，一怒之下返回花果山，并自封齐天大圣。详见第四回《官封弼马心何足，名注齐天意未宁 》 。
第二次是因为其虽然被太白金星哄回去天上，并玉帝承认其自封的齐天大圣的官位，但后来没有被邀请参加蟠桃会，心生不满，于是偷吃完所有的蟠桃和太上老君的金丹，后怕被玉帝责怪，返回花果山。详见第五回《 乱蟠桃大圣偷丹，反天宫诸神捉怪》。
第三次是唐僧刚收孙悟空为徒弟时，孙悟空打死了六个强盗。唐僧埋怨悟空残害生灵，悟空看不惯，逃回花果山，在观音菩萨的帮助下，又重新返回唐僧身边，菩萨赠唐僧紧箍咒。详见第十四回 《心猿归正，六贼无踪》。
第四次是孙悟空三打白骨精，唐僧埋怨悟空乱杀无辜，一气之下，返回花果山，后唐僧宝象国遇难，猪八戒用激将法将其请出。详见第二十七回《尸魔三戏唐三藏，圣僧恨逐美猴王》。
第五次是悟空半途打死几个强盗，被唐僧责怪，但因悟空被蝎子精的尾巴蜇了头还痛着没被赶回去。后投宿到那伙强盗的同伙的家里，被强盗的同伙追杀，不得已将强盗余党的头子打死，被唐僧赶回花果山。
