谈不上是诽谤吧。说你憨是别人对你为人处事言谈举止的一种看法,有些人总觉得自己聪明,看别人不太客观。
你认人为别人说你憨,可能你不服气,认为说得不准确,但在别人的眼里,可能就是他的真实认为。而诽谤是无中生有,是一种非常恶意的行为。