源自地名，春秋时期非子的子孙受封于梁国，而梁国境内就有一处叫做霍阳山的地方，这里位于今天的陕西省韩原市，当时霍阳山附近的地区都被称为“霍”，不过梁国后来被秦穆公出兵吞并，正好就袭击的霍阳山，于是之后梁国遗民就将邑作为姓氏，改姓为霍阳氏，最终简化为霍姓。
源于满族，属于汉化改姓为氏。据史籍《清朝通志·氏族略·附载满洲八旗姓》、《黑龙江志稿·人物志》记载：
⑴.满族噶尔噶斯氏，满语为Gargas Hala，世居杭间(今辽宁沈阳)，所冠汉姓即为霍氏。
⑵.满族霍罗氏，亦称洪骆氏、候勒氏、洪罗氏、洪克罗氏，满语为Honglo Hala，世居松花江流域，后多冠汉姓为霍氏、何氏、石氏等。
⑶.霍托罗氏，亦称辉图氏，满语为Huotolo Hala，后多冠汉姓为霍氏、包氏等
另外，满族同胞称女婿为“Huohehui”，汉字即“霍和辉”，因此有入赘姑爷干脆就称霍和辉氏，满语为Huohehui Hala，为满族脱谱姓氏之一，其后裔有改汉姓为霍氏者。
