霍元甲一共有两个儿子，霍东章和霍东阁。霍元甲一共有7个孙子，目前健在有两位，其中一位即霍寿金，还有一位在印度尼西亚。霍元甲还有3个女儿，3个女儿有将近10个属于霍元甲的外孙子女。
继霍元甲之后，霍家后代中公认的传奇人物便是霍东阁。在他的管理下，精武会发展壮大得很快，先是在上海成立了三个分会，之后又在汉口、广东、香港等地建立分会。1919年，25岁的霍东阁来到广州。
据霍自正回忆，霍东阁在广州海军总部任教时，当时控制整个广州的军阀陈炯明对他极为器重。但让霍东阁没有想到的是，到了最后，陈炯明背叛孙中山，官兵集体发动叛乱，这让霍东阁心里极为后悔，于是想离开广州，到南洋去闯荡闯荡。
霍自正回忆说：“爷爷的第一任妻子不愿意和他去南洋受苦，觉得跟着爷爷在广州语言不通，习惯不同，已经吃尽了苦头，要去那么远的南洋，她怎么也不愿意了。所以要留在天津。爷爷到印尼后，1935年娶了第二任妻子叶玉梅，她是当地的华侨。”
霍东阁一生有三个儿子和一个女儿，儿子雅亭、文亭、文亮和女儿月华。雅亭、文亭是他和中国妻子的孩子，而文亮、月华是他在印尼和第二任妻子生的孩子。霍自正是次子霍文亭之子。
