墨在我国的历史最早可追溯到公元前12世纪前，早在新石器时代，我们的祖先就已经开始利用黑色作为美术装饰，这一时期的陶器上已经有了黑、红、灰色之分，其中黑陶和彩陶是最具地域特色的艺术精品。
在殷墟的发掘中，即有墨写的甲骨。我国最早有关墨的记载的古文献是《尚书》和《仪礼》，前者记载了墨刑，后者记录了墨绳。后汉李尤的《墨砚铭》写有“收契既造、墨砚仍陈”，可见墨的出现是很早的。
汉代文字学家许慎在所著《说文解字》中说到：“墨书黑也，从土从黑。”指的就是天然墨。所谓的墨应该是黑土，也就是土粉，最初未成任何形状。随着社会的发展需要，以后出现各种形式，从粉状到丸、梃，从用手团揉改用墨模制成各种形状，其间经历了漫长的过程。
