矩阵的来源正式线性方程组的求解。这方面的工作最早应该是出现在《九章算术》中，其中“方程”一章中解线性方程时用了类似于现代的矩阵的方法，称为“遍乘直除法”。
但是，矩阵作为一个独立的概念却是源于行列式的研究，那时矩阵是作为行列式的一个推广，因此它的基本性质在它的概念产生之前就已经建立的很完善了。“矩阵”一次是西尔维斯特给出的（1850），不过他仅仅是把这概念用于表达一个行列式。把矩阵作为一个独立的概念研究的最早是凯莱。他在《矩阵论的研究报告》（1855）中，从基本概念开始，定义矩阵的各种运算。这就是矩阵的来源。
矩阵作为线性代数中最基本的一个概念，在数学的各方面的有重要的意义。最基本的应用当然是在线性方程方面。但是，矩阵的意义其实可以说就是线性代数的意义，因为线性代数的每一个概念都与矩阵有着密切关系。而线性代数是整个高等数学的基础之一，可以应用到整个数学的方方面面，而其本身也在物理学、生物学、经济学、密码学等方面发挥着重要作用。
