在人工制墨发明之前，一般利用天然墨或半天然墨来做为书写材料。墨的发明大约要晚于笔。史前的彩陶纹饰、商周的甲骨文、竹木简牍、缣帛书画等到处留下了原始用墨的遗痕。文献记载，古代的墨刑（黥面）、墨绳（木工所用）、墨龟（占卜）也均曾用墨。中国考古发掘出来公元前14世纪的骨器和石器上已有墨迹，还从湖北云梦县发掘出来战国时代的墨块。《庄子》中有“舔笔和墨”句，说明在春秋战国时代，已经开始用毛笔和墨水了。
《述古书法纂》载：西周“邢夷始制墨，字从黑土，煤烟所成，土之类也。”古代写字，以竹挺点漆，后磨石炭为汁而书，叫石墨。秦汉多用松烟、桐煤制墨。现知最早的烟墨，在湖北云梦睡虎地秦墓和江陵凤凰山西汉墓发现。当时的墨，是一些小圆块，没有模制成锭。
至汉代，终于开始出现了人工墨品。这种墨原料取自松烟，最初是用手捏合而成，后来用模制，墨质坚实。据东汉应劭《汉官仪》记载：“尚书令、仆、丞、郎，月赐愉麋大墨一枚，愉麋小墨一枚。”愉麋在今陕西省千阳县，靠近终南山，其山右松甚多，用来烧制成墨的烟料，极为有名。
魏、晋、南北朝墨的质量不断提高。北魏贾思勰著有《齐民要术》，其中写下了我国最早一篇讲制墨工艺的《合墨法》。唐代制墨名工奚超、奚廷珪父子，制出了“丰肌腻理，光泽如漆”的好墨。宋代墨工潘谷是造墨高手，苏东坡、黄山谷等书画家极为推崇。明代邵格之、程君房、方于鲁等各树一帜，歙县与休宁两派制墨，争奇斗胜，所制精品，距今三百余年，仍彩色焕发。清代制墨，主要向“精鉴墨”（专供鉴赏的墨）和“家藏墨”（多作收藏或馈赠亲友之用）两方面发展，成为精美的工艺美术品。
