相関

ベクトルの内積の幾何学的意味

3次元以下のベクトルでは、矢印（有向線分という）として幾何学的に表現することができます。

そしてベクトルでは内積という演算を定義していますが、その幾何学的意味についても見ていきたいと思います。

まずは、次のようなベクトルで作られた三角形を考えましょう。

ベクトル \(\boldsymbol{a}\) および \(\boldsymbol{b}\) の成す角を \(\theta\) として、余弦定理を適用してみます。

矢印（有向線分）の長さはベクトルの絶対値で表現されるので、

\[ |\boldsymbol b - \boldsymbol a|^2 = |\boldsymbol a|^2 + |\boldsymbol b|^2 - 2|\boldsymbol a||\boldsymbol b|\cos \theta \]

となります。

また更に左辺を式変形してみますよ。

\[ \begin{align*} |\boldsymbol{b} - \boldsymbol{a}|^2 &= (\boldsymbol{b} - \boldsymbol{a}) \cdot (\boldsymbol{b} - \boldsymbol{a}) \\[10pt] &= (\boldsymbol{b} \cdot \boldsymbol{b}) - (\boldsymbol{b} \cdot \boldsymbol{a}) - (\boldsymbol{a} \cdot \boldsymbol{b}) + (\boldsymbol{a} \cdot \boldsymbol{a}) \\[10pt] &= |\boldsymbol{b}|^2 - 2 (\boldsymbol{a} \cdot \boldsymbol{b}) + |\boldsymbol{a}| ^2\end{align*} \]

と表すことができました。

※ベクトルの内積の計算方法についてはこちらのコンテンツを参照して下さい。

以上から、

\[ \boldsymbol{a} \cdot \boldsymbol{b} = |\boldsymbol{a}||\boldsymbol{b}|\cos\theta \]

という関係が得られるのですね。

つまり内積の計算結果は、2つのベクトル \(\boldsymbol{a}\) および \(\boldsymbol{b}\) が同じ方向を向いているほど正の値となり、互いに逆向きを向いているほど負の値を取るということが分かると思います。

※念の為に、三角関数の相互変換に関するコンテンツも用意しておきます。

もう少し、見方を変えて理解をしようとすると内積は「相関」を表していることが分かります。

それぞれのベクトルが、同じ方向を向いていて内積が正の値をとるなら正の相関を、真逆を向いていて内積が負の値を取るなら負の相関をもっていると捉えると良さそうです。

そしてそれらの間に内積の値が0になる点がありますが、この条件ではベクトルが互いに垂直な向きを向いていることは式(2)から分かります（\(\theta = 90^\circ\) のとき \(\cos\theta = 0\)）。

つまりその状態が、ベクトル間の相関性が無い状態と考えることができます。

以上、内積を幾何学的に捉えるところから始まり、着目している対象どうしの「相関」として捉えることができるというところまで理解していただければ結構です。

多次元ベクトルの内積【余談：統計学との接点】

3次元以下の幾何ベクトルの内積は、掛け合わせるベクトルどうしの相関として捉えることができることを見てきました。

これは4次元以上のベクトルであっても同様に考えることができます。

まず \(n\) 次元のベクトルの内積がどのように表現されるか以下に示します。

\[ \boldsymbol{a} \cdot \boldsymbol{b} = \sum_{i = 1}^n a_ib_i \]

\(n\) 次元のベクトルは3次元以下のベクトルのように空間上に矢印として描くことができません。

そのため、筆者はこの \(n\) 次元のベクトルを「データのセット」と考えるようにしています。

ここまで伝えれば、勘の良い方なら気づいたかもしれませが…

式(3)で表されるような、異なるもの同士をかけ合わせて和を取る操作が統計学の回帰分析で現れます。

それは相関係数といって、複数のデータセット間の相関を数値化するものです。

以下にその相関係数 \(r_{xy}\) を示しておくことにします。

\[ r_{xy} = \frac{\sum_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_{i=1}^n(x_i-\bar{x})^2}\sqrt{\sum_{i=1}^n(y_i-\bar{y})^2}} \]

ちょっと端折った表現にしているので詳細は別のコンテンツを参照していただきたいのですが、分母にあるのがそれぞれデータ \(x\) および \(y\) における標準偏差で、分子にあるのが共分散と呼ばれるものです。

\(x_i\) および \(y_i\) は、それぞれ \(x\)、\(y\) に関する \(i\) 番目のデータを、\(\bar{x}\)、\(\bar{y}\) はデータの平均値を表します。

そして当コンテンツの主役である内積に対応しているのは、当式の分子、共分散です。

確かに異なる2つの成分の積の和となっていることを確認して下さい。

先程3次元の場合について、互いのベクトルが同じ方向あるいは真逆を向いたものについては内積の絶対値が大きく、互いに無関係な方向を向いているほど計算結果は \(0\) に近づくと表現しました。

これと同じことが、相関係数でも確認できます。

データ \(x\)、\(y\) を２次元平面上にプロットしたときに右上がりの傾向があるときは、\(r_{xy} \rightarrow 1\) に近づき、これを正の相関を持つと表現し、逆に右下がりの場合は \(r_{xy} \rightarrow -1\) に近づき、これを負の相関を持つと表現します。

そして、データ点が無秩序にバラバラしているときには \(r_{xy} \rightarrow 0\) に近づき無相関などと表現します。

※図を用意しておくことにします。

少し余談が長くなってしまいましたが、非常に大事な内積のイメージになりますので、理解しておくようにしましょう。

関数の内積の幾何学的意味

続いて関数の内積についても見ていきます。

数学的には次のように表現されます。

\[ \langle{f, g}\rangle = \int_{a}^b f(x)g(x)dx \]

※関数の内積について理解していない方は、こちらを参照にしてみて下さい。

前節では内積というものが相関を表すものといことが分かってきました。

ベクトルの内積では、同じような方向を向いているなど幾何学的なイメージを持たせることができましたが、関数の内積でも図式的に理解が可能です。

それを以下で確認していくことにします。

例えば、次に \(f(x) = \cos(x)\) と \(g(x) = \cos(2x)\) の場合【A】、また \(f(x) = \cos(x)\) と \(g(x) = \cos(1.5x)\) の場合【B】を取り上げました。

【A】\(~~~\int_{-\pi}^\pi \cos(x)\cos(2x)dx\)

【B】\(~~~\int_{-\pi}^\pi \cos(x)\cos(1.5x)dx\)

図の上側は関数の積を考える前の状態で、下側は関数の積によって得られたグラフ（黒色の曲線）を区間 \([-\pi, ~\pi]\) で積分したものになります。

積分の際に、\(x\) 軸よりも上側の面積（正の面積）を赤色で、\(x\) 軸よりも下側の面積（負の面積）を青色で表しています。

まず、【A】の場合ですが、実は計算の結果 \(0\) となります。

図を見ても、赤色と青色の面積を上手く重ね合わせるとちょうど打ち消し合うことが分かります。

一方で、【B】の場合はどうでしょうか。

正の面積のほうが多いように見えますね。

実際に計算すると結果は \(\frac{12}{5}\) になります。

これらのことから、【A】\(\cos(x)\) と \(\cos(2x)\) の間には相関が全く無く、【B】\(\cos(x)\) と \(\cos(1.5x)\) の間には、【A】の場合と比較して相関があることが分かります。

図式的にはどうでしょうか？

それぞれを見比べてみると、\(\cos(2x)\) より \(\cos(1.5x)\) の方が、\(\cos(x)\) と近いところを通っていて概形も似ていますよね。

もちろん区間 \([-\pi, ~\pi]\) の間に限った話ではありますが。

以上のように関数の内積に関しても、相関として捉えることができることが分かりました。