小香玉1965年2月出生于河南省郑州市,父母都是艺术工作者。她从小就接受继祖母常香玉的指点,11岁考入郑州市戏曲学校,毕业后分配到郑州市豫剧团。因主演常派名剧《木兰从军》,小香玉在豫剧界声名鹊起。
1988年,小香玉荣获全国豫剧大赛“香玉杯艺术奖”第一名,并获得全国豫剧电视大奖赛青年组最佳演员奖第一名。这年,小香玉登上了央视春晚舞台,与陈佩斯合作表演小品《狗娃与黑妞》。
此后,小香玉连续11年登上央视春晚舞台,名扬全国。小香玉主演的电视连续剧《常香玉》,荣获“五一工程”大奖,她还当选为全国十大杰出青年,并获得中国戏剧梅花奖。