跟几何中一样，我们可以定义向量的内积、长度与正交性。在几何中，向量是既有大小，又有方向的量。在坐标系中，向量可以用它的坐标来表示。坐标表示下的向量与线性代数中的向量形式上的一样的。只是在线性代数里，通常将向量表示成列向量的形式。
我们有两个向量 \(\vec{a}=\begin{pmatrix}a_1\\ \vdots\\a_n\end{pmatrix},\vec{b}=\begin{pmatrix}b_1\\ \vdots\\b_n\end{pmatrix}\)，我们定义它们的内积为
1，内积：\(\vec{a}\cdot\vec{b}=a_1b_1+a_2b_2+\cdots+a_nb_n\)，用矩阵的乘法来表示 \(\vec{a}\cdot\vec{b}=\vec{a}^T\vec{b}\)。
由内积的定义，我们可以直接得到内积的性质：
- \(\vec{a}\cdot\vec{b}=\vec{b}\cdot\vec{a}\);
- \(\lambda(\vec{a})\cdot\vec{b}=\lambda(\vec{a}\cdot\vec{b})\);
- \((\vec{a}+\vec{b})\cdot\vec{c}=\vec{a}\cdot\vec{c}+\vec{b}\cdot\vec{c}\)。
2，长度：我们定义向量的长度为 \(\|\vec{a}\|=(\vec{a}\cdot\vec{a})^{\frac{1}{2}}\)，向量的长度也称为向量的模。
关于向量的内积与长度，我们有下述的
3，（柯西-施瓦兹不等式）：\[|\vec{a}\cdot\vec{b}|\le |\vec{a}||\vec{b}|\]
我们利用一元二次方程的有解无解的判别式来证明这个不等式。
证明：\[\begin{align*}&(\vec{a}+t\vec{b})\cdot(\vec{a}+t\vec{b})=\|\vec{a}+t\vec{b}\|^2\ge 0\\ & \Rightarrow\quad\vec{a}\cdot\vec{a}+2t\vec{a}\cdot\vec{b}+t^2\vec{b}\cdot\vec{b}\ge 0\\ &\Rightarrow\quad \|\vec{a}\|^2+2t\vec{a}\cdot\vec{b}+t^2\|\vec{b}\|^2\ge 0\\ &\Rightarrow\quad 4t^2(\vec{a}\cdot\vec{b})^2-4\|\vec{a}\|^2\|\vec{b}\|^2\le 0\end{align*} \]取 \(t=1\)，则上式成为 \[|\vec{a}\cdot\vec{b}|\le \|\vec{a}\|\|\vec{b}\|\]
几何上，我们定义两个向量的内积为 \(\vec{a}\cdot\vec{b}=\|\vec{a}\|\|\vec{b}\|\cos\theta\)，\(\theta\) 为两个向量不超过 \(\pi\) 的夹角。这里我们将夹角的定义推广到 \(n\) 维向量。
4，两向量的夹角余弦：\[\cos\theta=\frac{\vec{a}\cdot\vec{b}}{\|\vec{a}\|\|\vec{b}\|}\]
有了夹角的定义，我们就可以定义两个向量相互正交（垂直）的条件：
5，正交的向量：
\[\vec{a}\bot\vec{b}\quad\Leftrightarrow\quad \vec{a}\cdot\vec{b}\]
6，正交向量组： \((\vec{v}_1,\vec{v}_2,\cdots,\vec{v}_n)\) 两两正交， 我们称这个向量组为正交向量组。
7，规范正交组：\((\vec{v}_1,\vec{v}_2,\cdots,\vec{v}_n)\) 两两正交， 并且 \(\|\vec{v}_i\|=1, 1\le i\le n\)， 我们称这个向量组为正交向量组。
例1：\(\mathbb{R}^3\) 中， \(\vec{e}_1=\begin{pmatrix}1\\0\\0\end{pmatrix}, \vec{e}_2=\begin{pmatrix}0\\1\\0\end{pmatrix},\vec{e}_3=\begin{pmatrix}0\\0\\1\end{pmatrix}\) 为规范正交组。这样的正交组的我们称为 \(\mathbb{R}^3\) 的标准正交基或者规范正交基。
\(\vec{v}_1=\begin{pmatrix}\frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}\\ 0\end{pmatrix}, \vec{v}_2=\begin{pmatrix}\frac{1}{\sqrt{6}}\\\frac{1}{\sqrt{6}}\\ \frac{2}{\sqrt{6}}\end{pmatrix},\vec{v}_3=\begin{pmatrix}-\frac{1}{\sqrt{3}}\\-\frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{3}}\end{pmatrix}\) 也是 \(\mathbb{R}^3\) 的规范正交组。
我们可以通过解方程组的方式来求一个正交组。
例2：设 \(\vec{a}_1\begin{pmatrix}\end{pmatrix},\vec{a}_1\begin{pmatrix}\end{pmatrix}\)，求 \(\vec{a}_3\)，使得 \(\vec{a}_1,\vec{a}_2,\vec{a}_3\) 为一正交组。
解：因为 \(\vec{a}_1\cdot\vec{a}_2=1-2+1=0\)，所以 \(\vec{a}_1,\vec{a}_2\) 正交。所以我们只要求一个向量，与这两个向量正交就行。
因为 \(\vec{a}_1\cdot\vec{a}_3=\vec{a}_1^T\vec{a}_3=0, \vec{a}_2\cdot\vec{a}_3=\vec{a}_2^T\vec{a}_3=0\)，可以用一个线性方程组表示：
\[(\vec{a}_1^T, \vec{a}_2^T)\vec{a}_3=0\]解这个线性方程组，对矩阵 \((\vec{a}_1^T, \vec{a}_2^T)\) 做初等变换
\[(\vec{a}_1^T, \vec{a}_2^T)=\begin{pmatrix}1&1&1\\ 1&-2&1\end{pmatrix}\sim \begin{pmatrix}1&1&1\\ 0&-3&0\end{pmatrix}\sim \begin{pmatrix}1&0&1\\ 0&1&0\end{pmatrix}\]
所以方程的解为 \(\vec{a}_3=\begin{pmatrix}-1\\0\\1\end{pmatrix}\)，\(\vec{a}_1,\vec{a}_2,\vec{a}_3\) 为一正交组。