玉楼春四爷为什么离开

根据剧情发展，我认为是孙家权势过于庞大，以至于让皇帝害怕，所以开始压制孙家，孙家逐渐没落，可能后面孙家会有什么大错犯下，皇帝抓住这个把柄，惩罚孙家，甚至没收孙家财物，给孙府带来极大的麻烦，四爷不想连累女主，继而离开。