6. 내적공간

6.1 내적과 노름

정의: 내적

$F$에 대한 벡터공간 $\mathsf{V}$
$\mathsf{V}$내적(inner product) $\equiv \left< x, y \right>$ 이란 모든 $\mathsf{V}$의 벡터 $x, y$ 그리고 $F$의 스칼라에 대한 함수로서 $\quad \mathrm{s.t.} \quad$

$\qquad ^\forall x, y, z \in \mathsf{V}, \quad ^\forall c \in F,$

  • $\left< x+z , y \right> = \left<x, y \right> + \left<z , y \right>.$
  • $\left< cx, y \right> = c \left< x, y \right>.$
  • $\overline{\left< x, y \right>} = \left< y, x \right>,$ 이때 바는 복소켤레를 의미한다.
  • $\left< x, x \right> > 0 \quad \mathrm{if} \quad x \ne 0$

$\qquad \implies$ "거리" 개념의 필요요소

첫 번째 항에서만 선형이고 두 번째 항은 선형이 아님(두 번째 조건 때문).

(1)
\begin{align} \left< \sum^n_{i=1} a_i v_i\ ,\ y \right> = \sum^n_{i=1} a_i \left< v_i\ ,\ y \right>. \end{align}

예제 1:
$x = ( a_1, \cdots, a_n), y = (b_1, b_n ) \in \mathsf{F}^n,$ 에 대하여

(2)
\begin{align} \left< x, y \right> = \sum^n_{i=1} a_i \bar{b_i} \equiv x \bullet y \end{align}

이 조건을 만족하는 내적을 $\mathsf{F}^n$표준내적(standard inner product)이라 하며 우리가 아는 "거리"의 개념에 합치한다.

예제 2:

예제 3:
$\left< f, g \right> = \int_0^1 f(t) g(t) dt$

(3)
\begin{align} \left< f + g, h \right> & = \int_0^1 (f + g)(t) \bullet h(t) dt \\ & = \int_0^1 f(t)h(t) + g(t)h(t) dt \\ & = \int_0^1 f(t)h(t) + \int_0^1 g(t)h(t) dt & = \left< f, h \right> + \left< g, h\right> \end{align}

정의: 켤레전치

$A \in \mathsf{M}_{m \times n} (F).$
$n \times m$ 행렬 $A^* \quad \mathrm{s.t.} \quad (A^*)_{ij} = \bar{A_{ij}}\ ^\forall i, j$$A$켤레전치(conjugate transpose) 또는 수반행렬(adjoint) 이라고 한다.

$x, y \in \mathsf{F}^n$에 대하여,

(4)
\begin{align} \left< x, y \right> & = a_1 \bar{b_1} + \cdots + a_n \bar{b_n} \\ & = \bar{b_1} a_1 + \cdots + \bar{b_n} a_n \\ & = \begin{pmatrix} \bar{b_1} ,\cdots, \bar{b_n} \end{pmatrix} \cdot \begin{pmatrix} a_1 \\ \vdots \\ a_n \end{pmatrix} = \overline{{\begin{pmatrix} b_1 \\ \vdots \\ b_n \end{pmatrix}}^t} \cdot \begin{pmatrix} a_1 \\ \vdots \\ a_n \end{pmatrix} \\ & = y^* \cdot x \end{align}

벡터공간 $\mathsf{P}(\mathbb{R})$에 대하여

(5)
\begin{align} \left< f(x), g(x) \right>_1 = \int_0^1 f(t) g(t) dt \quad \mathrm{and} \quad \left< f(x), g(x) \right>_2 = \int_{-1}^1 f(t) g(t) dt \end{align}

를 벡터공간 $\mathsf{P}(\mathbb{R})$의 내적이랄 수 있다.

$\mathbb{C}([0,1])$과 유사한 매우 중요한 내적공간:

(6)
\begin{align} \left< f, g \right> = {1 \over {2 \pi}} \int_0^{2 \pi} f(t) \overline{g(t)} dt. \end{align}

위 내적을 만족하는, 범위 $[ 0, 2 \pi ]$에서 정의된 복소값 함수의 공간 $\mathsf{H}$

복소함수의 적분의 성질 몇 가지

(7)
\begin{align} \int f = \int f_1 + i \int f_2 \quad \mathrm{and} \quad \overline{\int f} = \int \bar{f}. \end{align}

예제 5:
$\mathsf{V} = \mathsf{M}_{n \times n}(F),$
$A, B \in \mathsf{V}$에 대하여 $\left< A, B \right> = \operatorname{tr}(B^* A)$1
를 만족하는 내적을 프로베니우스 내적(Frobenius inner product)라 한다.

(8)
\begin{align} \left< B, A \right> & = \operatorname{tr} ( A^* B ) \\ & = \operatorname{tr} ( (\bar{A})^t B ) \\ & = \operatorname{tr} ( (\bar{A})^t (B^t)^t ) \\ & = \operatorname{tr} ( (B^t \bar{A})^t ) \\ & = \operatorname{tr} ( B^t \bar{A} ) \\ & = \operatorname{tr} ( \bar{\bar{B^t}} \bar{A} ) \\ & = \operatorname{tr} ( \overline{\bar{B^t} \bar{A}} ) \longleftarrow \overline{a+b}=\bar{a}+\bar{b}, \bar{ab} = \bar{a} \bar{b} \\ & = \bar{\operatorname{tr} ( \bar{B^t} A )} \\ & = {\operatorname{tr} ( B^* A )} \\ & = \overline{\left< A, B \right>} \end{align}

$F$에 대한 벡터공간 $\mathsf{V}$가 어떤 내적을 가지고 있을 때 이 벡터공간을 내적공간(inner product space)이라고 한다.
$F = \mathbb{C} \implies \mathsf{V}$복소내적공간(complex inner product)
$F = \mathbb{C} \implies \mathsf{R}$실수내적공간(real inner product)

정리 6.1

내적공간 $\mathsf{V}$, $x, y, z \in \mathsf{V}$$c \in F$에 대하여 다음 성질이 성립한다.

  • $\left< x, y+z \right> = \left< x, y \right> + \left<x , z \right>.$
  • $\left< x , cy \right> = \bar{c} \left< x, y \right>.$
  • $\left< x , 0 \right> = \left< 0, x \right> = 0.$
  • $\left< x , x \right> = 0 \iff x=0.$
  • $^\forall x \in \mathsf{V} \left< x, y \right> = \left< x , z \right> \implies y = z.$

정의: 노름

내적공간 $\mathsf{V}$, $x \in \mathsf{V},$

(9)
\begin{align} \lVert x \rVert = \sqrt{\left< x, x \right>}. \end{align}

$x$노름(norm) 또는 길이(length)라 한다.

정리 6.2

$F$에 대한 내적공간 $\mathsf{V}$
$^\forall x, \in \mathsf{V}, c \in F,$

  • $\lVert cx \rVert =\lvert c \rvert \cdot \lVert x \rVert$
  • $\lVert x \rVert = 0 \iff x = 0.$ 언제나 $\lVert x \rVert \ge 0.$
  • 코시-슈바르츠 부등식
    • $\lvert \left< x, y \right> \rvert \le \lVert x \rVert \cdot \lVert y \rVert.$
  • 삼각부등식
    • $\lVert x + y \rVert \le \lVert x \rVert + \lVert y \rVert.$

증명:
코시 슈바르츠 부등식:
$y = 0$이면 즉시 결과 도출.
$y \ne 0$ 이멵, 모든 $c \in F$에 대하여

(10)
\begin{align} 0 \le \lVert x - cy \rVert ^2 & = \left< x - cy,x - cy \right> = \left< x , x - cy \right> - c \left< y, x-cy \right> \\ & = \left< x , x \right> - \bar{c} \left< x, y, \right> - c \left< y, x, \right> + c \bar{c} \left< y , y \right> . \end{align}

특히 $c = \left< x, y \right> / \left< y,y \right>,$로 두면

(11)
\begin{align} 0 \le \left< x, x \right> - {{\lvert \left< x, y \right> \rvert^2} \over {\left< y, y \right>}} = \lVert x \rVert^2 - {{\lvert \left< x, y \right> \rvert^2} \over { \lVert y \rVert^2 }}, \end{align}

$\therefore\ \lvert \left< x, y \right> \rvert^2 \le \lVert x \rVert^2 \cdot \lVert y \rVert^2$

삼각부등식:

(12)
\begin{align} \lVert x + y \rVert^2 & = \left< x + y , x+y \right> = \left< x, x \right> + \left< y, x, \right> + \left< x, y \right> + \left< y, y \right> \\ & = \lVert x \rVert^2 + 2 \Re \left< x, y \right> + \lVert y \rVert^2 \\ & \le \lVert x \rVert^2 + 2 \lvert \left< x, y \right> \rvert + \lVert y \rVert^2 \\ & \le \lVert x \rVert^2 + 2 \lVert x \rVert \cdot \lVert y \rVert + \lVert y \rVert^2 \\ & = ( \lVert x \rVert + \lVert y \rVert )^2 \end{align}

이때 $\Re \left< x, y \right>$는 복소수 $\left< x, y, \right>$의 실수부를 의미한다.
삼각부등식을 증명하기 위해서는 코시-슈바르츠 부등식이 전제되어야 한다.

예제 7
$\mathsf{F}^n$에 대하여, 코시-슈바르츠 부등식과 삼각부등식에서 다음 부등식들을 도출할 수 있다.

(13)
\begin{align} \left\lvert \sum_{i=1}^n a_1 \bar{b_i} \right\rvert \le \left[ \sum_{i=1}^n \lvert a_i \rvert^2 \right]^{1 \over 2} \left[ \sum_{i=1}^n \lvert b_i \rvert^2 \right]^{1 \over 2 }. \end{align}
(14)
\begin{align} \left[ \sum_{i=1}^n \lvert a_i + b_i \rvert^2 \right]^{1 \over 2} \le \left[ \sum_{i=1}^n \lvert a_i \rvert^2 \right]^{1 \over 2} + \left[ \sum_{i=1}^n \lvert b_i \rvert^2 \right]^{1 \over 2}. \end{align}

정의: 직교

내적공간 $\mathsf{V}$에 대하여,

  • 벡터 $x, y \in \mathsf{V}$직교(orthogonal) $\iff \left< x, y \right> = 0$
  • $\mathsf{V}$의 부분집합 $S$에 속한 임의의 두 벡터가 직교 $\implies S$직교집합(orthogonal set)
  • 벡터 $x \in \mathsf{V}$$\lVert x \rVert = 0 \implies x$단위벡터(unit vector)
  • 부분집합 $S$가 직교하면서 그 원소들이 단위벡터들로만 이루어져 있을 때 $S$정규직교(orthonormal)집합이다.
  • 영벡터가 아닌 어떤 벡터에 그 길이의 역수를 곱하는 과정을 정규화(normalizing)라고 한다.

예제 9:
켤레전치 정의 이후 언급한 내적공간 $\mathsf{H}$

$f_n (t) = e^{int}, \quad 0 \le t \le 2 \pi,$

(15)
\begin{align} e^{int} = \cos nt +i \sin nt. \end{align}

$S := \left\{ f_n : n \in \mathbb{Z} \right\}$$\mathsf{H}$의 정규직교부분집합.

$m \ne n$일 때,

(16)
\begin{align} \left< f_m , f_n \right> & = {1 \over {2 \pi}} \int_0^{2 \pi} e^{imt} \overline{e^{int}} dt = {1 \over {2 \pi}} \int_0^{2 \pi} e^{i(m-n)t} dt \\ & = \left. {1 \over {2 \pi (m-n)}} e^{i(m-n)t} \right\rvert_0^{2 \pi} = 0. \end{align}
(17)
\begin{align} \left< f_n , f_n \right> & = {1 \over {2 \pi}} \int_0^{2 \pi} e^{i (n-n) t} dt = {1 \over {2 \pi}} \int_0^{2 \pi} 1 dt = 1. \end{align}

6.2 그람-슈미트 직교화 과정과 직교 여공간

정의: 정규직교순서기저

내적공간 $\mathsf{V}$의 부분집합이 정규직교하는 순서기저일 때 그 부분집합은 정규직교순서기저(orthonormal basis)이다.

정리 6.3

내적공간 $\mathsf{V}$의 직교부분집합 $S = \left\{ v_1, \cdots, v_k \right\}$(non-zero).

(18)
\begin{align} y \in \operatorname{span}(S) \implies y = \sum_{i=1}^k {{\left< y, v_i \right>} \over {\lVert v_i \rVert^2}} v_i. \end{align}

증명:
$y = \sum_{i=1}^k a_i v_i \quad (a_1, \cdots, a_k \in F)$

$\qquad \qquad \qquad 1 \le j \le k,$

(19)
\begin{align} \left< y, v_j \right> = \left< \sum_{i=1}^k a_i v_i , v_j \right> = \sum_{i=1}^k a_i \left< v_i , v_j \right> = a_j \left< v_j, v_j \right> = a_j \lVert v_j \rVert^2. \end{align}

$\qquad \qquad \therefore\ a_j = {{\left< y, v_j \right>} \over {\lVert v_j \rVert^2 }}, \quad y = \sum a_i v_i = \sum {{\left< y, v_i \right>} \over {\lVert v_i \rVert^2 }} v_i$

$v = v_1 e_1 + v_2 e_2 + v_3 e_3$ (삼수선)

tkatntjs.png
(20)
\begin{align} v_i = \operatorname{Proj}_{e_i}(v) = {{e_i \bullet v} \over {e_i \bullet e_i}} e_i \end{align}

따름정리 1:
정리 6.3에 더하여 $S$가 직교이고 $y \in \operatorname{span}(S) \implies$

(21)
\begin{align} y = \sum_{i=1}^k \left< y, v_i \right> v_i . \end{align}

따름정리 2:
내적공간 $\mathsf{V}$의 0이 아닌 벡터로 이루어진 직교부분집합 $S$는 선형독립이다.

증명:
$S = \left\{ v_1, \cdots v_k \right\}$
$\implies$ $\sum_{i=1}^k a_i v_i = 0 \in \mathsf{V}$를 가정,
정리 6.3에 의해 $0 = \sum_{i=1}^k a_i v_i \\ a_i = {{ \left< 0, v_i \right>} \over { \lVert v_i \rVert^2 }} = 0$

정리 6.4

내적공간 $\mathsf{V}$의 선형독립 부분집합 $S = \left\{ w_1, w_2, \cdots, w_n \right\}$
$S' := \left\{ v_1 , v_2 , \cdots , v_n \right\}, \quad v_1 = w_1$

(22)
\begin{align} v_k = w_k - \sum_{j=1}^{k-1} {{ \left< w_k, v_j \right> } \over { \lVert v_j \rVert^2 }} v_j \qquad \mathrm{for} quad 2 \le k \le n. \end{align}

$\implies S'$는 0이 아닌 벡터들로 이루어진 직교집합 $\mathrm{s.t.} \quad \operatorname{span}(S') = \operatorname{span}(S).$

증명:
$S$의 원소인 벡터의 수 $n$에 대한 수학적 귀납법

$S_1 = \left\{ w_1 \right\}, S_2 = \left\{ w_1, w_2 \right\} , \cdots , S_k = \left\{ w_1, \cdots , w_k \right\}$

$k = 1, S_1 = \left\{ w_1 \right\} \longrightarrow S_1 ' = \left\{ v_1 \right\}, \quad \mathrm{where}\ v_1 = w_1$

$k-1$일 때, 다음과 같이 가정한다. $S_{k-1} \longrightarrow S_{k-1}' = \left\{ v_j, \cdots, v_{k-1} \right\} \quad \mathrm{where}\ v_1 = w_1 - \sum_{i=1}^{j-1} {{ \left< w_j , v_i \right> } \over { \lVert v_i \rVert^2 }} v_i$
직교집합이고 $\operatorname{span}(S_{k-1}) = \operatorname{span}(S_{k-1}')$

Let $k,$ $S_k = \left\{ w_1, \cdots, w_{k-1}, w_k \right\}, \quad \mathrm{where}\ v_k = w_k - \sum_{j=1}^{k-1} {{ \left< w_k, v_j \right> } \over { \lVert v_j \rVert^2 }} v_j$ 가 선형독립
$qquad$ $longrightarrow S_k ' = \left\{ v_1, \cdots, v_k \right\} = S_{k-1} \cup \left\{ v_k \right\}$

$v_k \ne 0$ 이라고 주장,
$\quad$ 그렇지 않다면 $w_k = \sum_{j=1}^{k-1} \bigcirc v_j \in \operatorname{span}(S_{k-1}') = \operatorname{span}(S_{k-1}) = \left\{ w_1, \cdots, w_{k-1} \right\}$
$\quad \implies S_k$ 가 선형독립이라는 가정에 모순. $\therefore\ v_k \ne 0$

$S_k'$의 직교여부
$\quad i = 1, \cdot, k-1, \left< v_k , v_i \right>$$= \left< w_k - \sum_{j=1}^{k-1} \bigcirc v_j , v_i \right> \\ = \left< w_k, v_i \right> - \sum_{j=1}^{k-1} \bigcirc \left< v_j , v_i \right> \\ = \left< w_k , v_i \right> - {{ \left< w_k , v_i \right> } \over { \lVert v_i \rVert^2 }} \left< v_i , v_i \right> = 0$
$\quad \therefore ^\forall i = 1, \cdots, k-1, \quad v_k \perp v_i$, $\quad S_k'$는 직교

$\operatorname{span}(S_k) = \operatorname{span}(S_k')$ 증명
$\quad$$\operatorname{span}(S_k') \subset \operatorname{span}(S_k) \\ \because)\ v_1, \cdots, v_k \in \operatorname{span}(S_k)$
$\quad$$\operatorname{dim}(\operatorname{span}(S_k')) = \operatorname{dim}(\operatorname{span}(S_k)) = k \quad \mathrm{and} \quad \operatorname{span}(S_k') \subset \operatorname{span}(S_k) \\ \implies \operatorname{span}(S_k') = \operatorname{span}(S_k)$

정리 6.4를 이용해 $\left\{ v_1, v_2, \cdots, v_n \right\}$ 을 만드는 것을 그람-슈미트 과정(Gram=Schmidt process)이라 한다.

정리 6.5

영이 아닌 유한차원 내적공간 $\mathsf{V}$가 정규직교기저 $\beta$를 가질 때,
$\beta = \left\{ v_1, v_2, \cdots, v_n \right\}$ 이고 $x \in \mathsf{V}$이면

(23)
\begin{align} x = \sum_{i = 1}^n \left< x, v_i \right> v_i . \end{align}

정의: 푸리에 계수

내적공간 $\mathsf{V}$의 정규직교 부분집합 $\beta$, $x \in \mathsf{V},$
이때 $\beta$에 대한 $x$푸리에 계수(Fourier coefficients)는 스칼라 $\left< x, y \right>$로 정의되며 이때 $y \in \beta.$

예제 7:
$S = \left\{ e^{int} : n \in \mathbb{Z} \right\} \longrightarrow \mathsf{H} = \mathbb{C}[0, 2 \pi ]$의 정규직교집합
$S$에 대한 $f(t) = t$의 푸리에 계수를 계산하기

$n \ne 0$ 인 경우, $\left< f , f_n \right>$$= {1 \over {2 \pi}} \int_0^{2 \pi} t \overline{e^{int}} dt \\ = {1 \over {2 \pi}} \int_0^{2 \pi} t e^{-int} dt \\ = {1 \over {2 \pi}} \left[ t {1 \over {- in}} e^{-int} \right]_0^{2 \pi} \\ = {1 \over {2 \pi}} \left( -{{2 \pi } \over {in}} e^{-2 \pi n i} -0 \right) \\ = - {1 \over {in}} ( \cos -2 \pi n + i \sin 2 \pi n \\ = - { 1 \over {in}}$

$n= 0$인 경우, $\left< f, 1 \right>$$= { 1 \over {2 \pi}} \int_0^{2 \pi} t \cdot 1 dt \\ = {1 \over {2 \pi}} \left[ {1 \over 2} t^2 \right]_0^{2 \pi} = {{4 \pi^2} \over {4 \pi}} = \pi$

$\implies$ 푸리에 계수 집합 $\left\{ - {1 \over {in}} | n \in \mathbb{Z} - \left\{ 0 \right\} \right\} \cup \left\{ \pi \right\}$
$\implies ^\forall f \in \mathsf{H}, f = \sum_{- \infty}^{\infty} \left< f, f_n \right> f_n, f_n = e^{int}$

$\lVert f \rVert^2$$= \left< f, f \right> = \left< \sum_{k=-\infty}^\infty \left< f, f_k \right> f_k , \sum_{n=-\infty}^\infty \left< f, f_n \right> f_n \right> \\ = \sum_{k=-\infty}^\infty \left< f, f_k \right> \left< f_k, \sum_{n=-\infty}^\infty \left< f, f_n \right> f_n \right> \\ = \sum_{k=-\infty}^\infty \left< f, f_k \right> \sum_{n=-\infty}^\infty \left< \overline{f, f_n} \right> \left< f_k, f_n \right> \\ \qquad \left< f_k , f_n \right> = \delta_{k, n} = \begin{cases} 1 & k = n \\ 0 & k \ne n \end{cases} \\ = \sum_{k=-\infty}^\infty \left< f, f_k \right> \left< \overline{f, f_k} \right> \cdot 1 \\ = \sum_{k=-\infty}^\infty \lvert \left< f, f_k \right> \rvert^2$

$\therefore\ \lVert f \rVert^2$$\ge \sum_{n = -k}^1 \lvert \left< f, f_n \right> \rvert^2 + \lvert \left< f, 1 \right> \rvert^2 + \sum_{n=1}^k \lvert \left< f, f_n \right> \rvert^2$
$f(t) = t$일 때, $\left< t, t \right> = \lVert t \rVert^2 = {1 \over {2 \pi}} \int_0^{2 \pi} t \cdot \bar{t} dt = {1 \over {2 \pi}} \left[ {1 \over 3} t^3 \right]_0^{2 \pi} = \cdots = {4 \over 3} \pi^2 \\ \therefore\ {4 \over 3} \pi^2 \ge \sum_{n=-k}^{-1} \left\lvert - {1 \over {in}} \right\rvert^2 + \pi^2 + \sum_{n=1}^k \left\lvert {{-1} \over {in}} \right\rvert^2 = \sum_{n=-k}^{-1} {1 \over n^2} + \pi^2 + \sum_{n=1}^k {1 \over n^2} = \pi^2 + 2 \sum_{n=1}^k {1 \over n^2}$
$\implies {{\pi^2} \over 3} \ge 2 \sum_{n=1}^k {1 \over n^2} \quad ^\forall k$

(24)
\begin{align} \therefore\ \sum_{n=1}^\infty {1 \over n^2} \le {\pi^2 \over 6} \end{align}

정의: 직교여공간

내적공간 $\mathsf{V}$의 공집합이 아닌 부분집합 $S$가 있을 때

(25)
\begin{align} S^\perp = \left\{ x \in \mathsf{V} : \left< x, y \right> = 0 \quad ^\forall y \in S \right\}. \end{align}

$S$직교여공간(orthogonal complement)이라고 한다.

figure-6-2.png

$y$에 가장 "가까운" 벡터 $u ( \in \mathsf{W})$ 찾기
$\longrightarrow$$P$에서 평면 $\mathsf{W}$까지의 거리. $\lVert y - u \rVert.$
$z = y - u \in \mathsf{W}^\perp$

정리 6.6

내적공간 $\mathsf{V}$의 유한차원 부분공간 $\mathsf{W}$, $y \in \mathsf{V}$
$\implies \exists !$ 벡터 $u \in \mathsf{W}, z \in \mathsf{W}^\perp \quad \mathrm{s.t.} \quad y = u + z.$
$\mathsf{W}$의 정규직교기저 $\left\{ v_1, v_2 , \cdots , v_k \right\}$에 대하여

(26)
\begin{align} u = \sum_{i=1}^k \left< y, v_i \right> v_i . \end{align}

증명:
$z := y = u.$ 그러면 $u \in \mathsf{W}, y = u + z$임은 자명
$z \in \mathsf{W}^\perp$
$\because\ ^\forall j = 1, \cdots, k, \left< z , v_j \right> = \cdots = 0$
$z \perp v_j \quad ^\forall j$
$\therefore\ z \perp \mathsf{W}$

따름정리:

6.3 선형연산자의 수반연산자

6.4 정규연산자와 자체수반연산자

6.5 유니타리 연산자와 직교연산자, 그리고 그 행렬

6.6 정사영과 스펙트럼 정리

6.7 특이값 분해와 의사역행렬

6.8 겹선형식과 이차형식

6.9 아인슈타인 특수상대성이론

6.10 레일리 지수

6.11 직교연산자의 기하학