残奥会的起源，得追溯到二战后的欧洲。为了让在战争中因脊髓受损导致下肢瘫痪的士兵能够尽快康复，1948年伦敦第14届夏季奥运会期间，英国的神经外科医生路德维格格特曼爵士和一些热衷残疾人事业的知名人士，为一批轮椅运动员组织了自己的运动会，称为斯托克曼德维尔运动会。
4年后，国际斯托克曼德维尔运动会联合会在英国成立，并于当年举办了首届国际残疾人运动会，这也就是“残疾人奥林匹克运动会”的前身。此后，国际斯托克曼德维尔运动会每年举办一次。
1960年，在罗马第17届奥运会结束两周后，来自世界23个国家的400名残疾人运动员参加了在罗马举办的第九届国际斯托克曼德维尔运动会，而这届运动会后来也被国际奥委会正式承认为第一届“残疾人奥林匹克运动会”。
从1960年开始，残奥会每4年举办一次，1988年汉城第八届残奥会以后，形成了每届残奥会和夏季奥运会在同一城市举行的惯例
