李密是隋炀帝杨广的东宫护卫。有一天，杨广临朝，问左翊卫大将军宇文述说：“站在左边卫队里的那个黑脸小伙子是谁？”宇文述说：“是前朝大臣李宽的儿子李密。” “这个人站在那里左顾右盼的，我看他不是平常人，不能让他做警卫。”
几天后，宇文述对李密说：“你祖上几代都是朝官，你应当从才学方面去寻找出路，何必做警卫呢！”李密就辞去职务，发愤读书。一天，他骑着牛去缑山，牛角上挂着一部《汉书》，他边走边读，被越国公杨素碰见。杨素经过同李密交谈，觉得李密是个奇才，回来对他的儿子杨玄感说：“李密不是等闲之辈。”
杨玄感于是就与李密结为知己。杨玄感后来奉命驻守黎阳监督粮运，他把李密接到那里，并在李密的鼓动和策划下起兵反对隋朝，不久兵败被杀。李密被捕，但他在押运途中逃脱，投奔了农民起义军瓦岗军。李密到了瓦岗军后，取得了瓦岗军领袖翟让的信任，被推为首领。
