乔治四世在他任职威尔士亲王的时候，他爱上了一个寡妇，而且比他长了整整七岁。但是当时的英国还在乔治三世的统治之中，他非常讨厌费兹赫伯特，而且他坚决不同意让他们成婚，因为如果乔治四世和费兹赫伯特真正结婚的话，那就会成为一个皇室丑闻。因此，乔治四世只能和费兹赫伯特偷偷的在一起。直到1795年的时候，因为他要还债，所以被迫娶了他的发妻，也就是他的远房堂妹卡罗琳，两人于同年4月8日，于英国皇家礼堂举行了盛大的婚礼。
然而，不幸的是，这场婚礼对于两人来说就是一场灾难，以至于后来好多次乔治四世想和卡罗琳离婚。其实两人婚姻不幸福的主要原因是两人的性格不合，而且各自都有心爱的人。因此，在1976年1月，卡罗琳生下他们唯一一个孩子夏洛特以后，于同年三月两人正式分居，从此以后两人就再也没有生活在一起。最后，更是在乔治四世的登基大典上出现了闹剧，因为当时卡罗琳想当王后，而乔治四世不允许，所以与乔治四世在政治上为敌的人就借此机会来对付他，最终，乔治四世与他的妻子还是没有离婚，不过他们也只是名义上的夫妻。
