故事如下：
虞公是春秋时代虞国的国君，他有个弟弟叫虞叔。
有一天，虞公听说弟弟虞叔得到了一块价值连城的宝玉，便带着随从来到虞叔家。“听说弟弟得到一块宝玉，哥哥特地前来祝贺！”虞公一进门就直奔主题，笑盈盈地对虞叔说，“不知弟弟能不能拿出宝玉，让哥哥也欣赏欣赏呀？”
当国君的哥哥要看看宝玉，虞叔怎么敢不答应呢？他赶紧走进卧室，小心翼翼地捧出装有宝玉的盒子，呈到虞公面前。虞公把宝玉拿在手上细细观赏，不时地赞叹道：“真是美玉啊！”看着虞公垂涎三尺的样子，虞叔心里直打鼓，生怕虞公向自己索要宝玉。
果然，虞公看完宝玉后，就挤出一脸笑容对虞叔说：“弟弟啊，哥哥还从没见过这么漂亮的宝玉，你能不能把它借给我欣赏几天啊？”
虞公说是借几天，其实就是想把宝玉据为己有。虞叔非常为难，支支吾吾地说：“这块宝玉我也是刚得到不久，所以……我想……”虞公见虞叔不肯献出宝玉，非常生气，站起身就走了。
虞公走后，虞叔就后悔了。他想：“俗话说得好，一个人本来没有罪，但如果他藏有价值连城的宝玉，就会招来祸害。虞公向我索要宝玉，我又何必贪留这块宝玉而招来祸害呢？”虞叔越想越怕，第二天一大早，就带着宝玉去献给了虞公。
献出宝玉后，虞叔以为这下可以过上清静日子了，心情也轻松了许多。不料，虞公得到宝玉后仍不满足，又派人来找虞叔，说听说虞叔还有一把锋利无比的宝剑，希望虞叔能把宝剑也献给他。
虞叔听了气愤不已，对身边的人说：“虞公的索取没有停止的时候，因为他不知满足。他这样贪得无厌，即使我毫无原则地把自己所有的财宝都送给他，也不可能满足他。一旦满足不了他，他肯定就会加害于我。与其等到祸事临头，倒不如先发制人，保护自己。”
于是，虞叔趁虞公不备，起兵攻打虞公。虞公被虞叔打败后，逃到了共池避难。
“怀璧其罪”原义是因为藏有宝玉而招来杀身之罪（璧：美玉），后比喻因有才能而遭人嫉妒和陷害。该成语在句中一般作宾语，也作谓语、定语。
