1、外形不同
小菖蒲是多年生草本，根茎外皮为黄褐色，叶片基生，向上渐狭，叶片为剑状线形，基部较宽、有对褶，中部以上渐狭，色泽光亮。
石菖蒲的根茎上部分枝甚密，植株因而呈丛生状，分枝常被纤维状宿存叶基，叶无柄，叶片薄。
2、花期不同
小菖蒲的花期一般在6-9月份，花为黄绿色，子房为长圆柱形，浆果为红色长圆形。
石菖蒲开花较早，花期在2-6月份，花序柄腋生，长4-15厘米，三棱形，叶状佛焰苞长13-25厘米，花为白色。
小菖蒲和石菖蒲区别具体如下：
1、叶子区别石菖蒲的叶子是很薄的，是线性的，长度差不多是在20-30cm左右，有时可达到50cm。它的叶色为暗绿色，无中肋。菖蒲的叶子是剑状的线形，长度会更长一些，有90-150cm左右。它的叶子为绿色，十分光亮，有着十分明显的中肋。
2、根茎区别石菖蒲的根茎粗度为2-5mm左右，并有着淡淡的芳香，它的颜色为淡褐色，根茎是肉质的，上面还有很多的须根，节间的长度通常为3-5mm。菖蒲的根茎是横走的，粗度是5-10mm左右，同样有芳香，但它是黄褐色的。它的肉质根是5-6cm左右，须根都是毛发状的。
3、生长环境区别石菖蒲喜欢在半阴的环境下生长，很害怕被阳光直接照射，喜欢湿润的环境。菖蒲同样喜欢在湿润处生长，它是喜欢温暖的，环境的额温暖度应在20-25℃左右。
