1963年初春，山青水秀的芙蓉镇，青石板街道上人来人往，熙熙攘攘。胡玉音(刘晓庆饰)与丈夫黎桂桂(刘利年饰)在街上卖米豆腐。胡玉音人称“芙蓉仙子”。由于她美丽热情，服务周到，人们都愿吃她做的米豆腐，摊前顾客络绎不绝。而对面的国营饮食店由于服务态度不好，门庭冷落，经理李国香(徐松子饰)对此十分恼火。
胡玉音和桂桂起早摸黑，省吃俭用，攒了点钱盖起一幢新房。但不久“四清”运动开始了。李国香担任工作组组长，她把“土改根子”二流子王秋赦(祝士彬饰)作为依靠对象，大抓起阶级斗争。慑于压力，胡玉音将积攒的一千五百元钱托镇党支书黎满庚(张光北饰)代为保管，自己跑到镇外亲戚家避风。黎满庚与她自小青梅竹马，长大后真诚相爱，但因胡的家庭出身不好，组织不允许，而未能结合。为此，他曾发誓一辈子要保护这位干妹子。然而，严酷的阶级斗争又迫使他向工作组交出了这笔钱。粮站主任、南下老干部谷燕山(郑在石饰)也因供给胡玉音碎米而被审查、撤职。待胡玉音回到芙蓉镇时，新屋已被没收，丈夫自杀，自己也被定为新富农。她，这个年轻的寡妇，面临着坎坷多舛的命运。
1966年“文革”的风暴席卷了芙蓉镇。李国香也被揪了出来，与胡玉音、右派分子秦书田(姜文饰)一起被批斗。而李国香亲手培养的王秋赦却当上了镇党支书，黎满庚倒成了他的秘书。过不多久，李国香又被结合进领导班子，王秋赦一变嘴脸，多次找李国香认错，大表忠心，又取得了她的信任。
被人称作“癫子”的秦书田与胡玉音被罚扫街。每天清晨他俩在青石板街上从东扫到西，从西扫到东。寒来暑往，花开花落，三年多相濡以沫的苦难岁月，使两个被扭曲的灵魂、两颗干枯的心灵撞击出爱情的火花。爱情使胡玉音对生活产生了希望。多年停转的石磨子又转动了，她偷偷地给秦书田做米豆腐吃。胡玉音怀孕后，秦书田去申请结婚，凄楚地说出“我们再坏，再黑，就是鸡鸭猪狗，也不能禁止我们婚配啊!”然而，他们正当的要求不但未获批准，还遭到进一步的惩罚。秦书田被判刑十年，胡玉音被判刑三年，因怀孕监外执行。
谷燕山看不惯这些左的做法，却又无力扭转。他借酒浇愁，怒骂颠倒了的世情。他不畏压力，在秦胡偷偷结婚时，前去贺喜；胡玉音难产时，又大义凛然，在漫大风雪中拦下军车，救了她母子性命。
“四人帮”粉碎后，胡玉音终于盼到了秦书田归来。米豆腐摊又热闹起来。而专吃“运动饭”的王秋赦住的吊脚楼坍了，他也疯了，只有那面每逢运动就敲打的锣还在，虽已破得不成样子，却还发出刺耳的声响……
