二項式定理、指數、對數、三角函數

二項是定理

• 參考
• 參考

排列組合

• 排列

  • 由 $n$ 個不同物品取 $k$ 個出來排列，因此最後的排列順序不同，及視為不同的排列

• 組合

  • 由 $n$ 個不同物品取 $k$ 個出來但不排列，因此只要組成元素相同，及視為相同組合，無關順序排列
  • ABC、ACB、BAC、CAB、BCA、CBA 這 $3!$ 種排列可看成是 A、B、C 的組合
  • 組合數可用 $\frac{n!}{(n-k)!k!}$ 或 $C^n_k$ 表示

二項分佈計算獨立事件的機率分佈

事件的成功機率與獨立性

拜訪 10 次簽下 $k$ 建的機率一般式

$0.36$ 每次拜訪成功機率，

$P(x=k) = \tbinom{10}{k} \centerdot 0.36^k \centerdot (1-0.36)^{10-k}$

拜訪 10 次簽下 2 件的機率

$P(x=2) = \tbinom{10}{2} \centerdot 0.36^2 \centerdot (1-0.36)^{10-2} = \frac{10!}{(10-2)!2!} \centerdot 0.36^2 \centerdot 0.64^8$

二項式機率分佈函數

從上面的範例寫成以下二項分佈的機率分佈函數公式 $P(x=k) = \tbinom{n}{k} \centerdot p^k \centerdot (1-p)^{n-k}$

節由隨機改變變數 $x$，可得到 $x$ 時的機率分佈。

指數運算規則宇指數函數圖形

指數函數 $y = a^x$，$a$ 為底數；$x$ 為指數。

• 指數運算

• 指數函數

對數

都用 $x$ 求 $y$ 值，但反過來就需要使用對數概念。

對數函數 $y = log_a x$，$a$ 為底數；$x$ 為真數。

$x = a^y \Leftrightarrow log_ax = log_a a^y = y$，同時取 $a$ 為底對數運算。

利用對數簡化運算

$6 =10^{\frac{n}{m}}$，兩邊同時取對數。 $\frac{n}{m} = log_{10} 6 = log_{10} 2+log_{10} 3 = 0.301+0.477 = 0.778$

對數特性與運算

運算

• 同取相同底數對數 $x=y \Leftrightarrow log_ax = log_ay$
• 對 1 取對數為 0，對 a 取同底數為 1
  • 指數與對數是反函數 $log_a 1=0, log_a a = 1$
• 對數內兩數相乘 $log_a xy = log_a x + log_a y$
• 對數內兩數相除 $log_a \frac{x}{y} = log_a x - log_a y$
• 對數內的指數 $log_z x^n = n \centerdot log_a x$ $log_a \sqrt{x} = log_z x^{\frac{1}{2}} = \frac{1}{2} log_a x$
• 換底公式 $log_a x = \frac{log_b x}{log_b a}$ $log_z x = log_b x \centerdot log_a b$

尤拉數 $e$ 與羅基斯函數

在機器學習中較常用到 $e = 2.718…$ 為底數。

以利率為例子：乙方提出半年 $50%$ 複利的條件。 $(1+\frac{1}{2})^2 = 1.5^2$，當 $n$ 趨近於無限大時，$(1+\frac{1}{n})^n$ 式子的計算結果就是 $e$。用數學如下表達

$e = \lim_{n\to\infty} (1+\frac{1}{n})^n$

發現 $n$ 再怎麼增加，試算出來的數字都只是 2.7182818… 倍，此數就定義為 $e$。

邏輯斯函數(logistic function)的特性

又稱 Sigmoid function，再機器學習中用於分類的函數。該特性就是將因變數($y$)值轉換成 $0~1$ 之間的值，機率符合0 到 100%。 logit與logistic是互為反函數關係。 數學式為： $f(x) = \frac{1}{1+e^{-(a+bx)}} = \frac{1}{1+exp(-(a+bx))}$

畢氏定理

$c=\sqrt{a^2+b^2}$，超過三維也是可以進行此計算

三角函數的基本觀念

• 三個內角相加 $180^o$

• 只要 $\theta$ 不變，a、b、c 兩兩之間長度比裡也會固定不變 $sin\theta = \frac{a}{h}$ $cos\theta = \frac{b}{h}$ $tan\theta = \frac{a}{b}$

• 可參考

三角函數的弧度制與單位圓

科學領域中常用圓周的弧長與半徑比例來表示長度，稱弧度制或徑度制。 圓的一圈為 $\frac{2 \centerdot \pi \centerdot r}{r} = 2\pi$

• 參考

向量運算

• 單純數字為純量

向量加法與純量相乘的運算規則

• 相同為度向量加法時，同位置元素相加，形成新向量
• 交換率和結合率
• 一個向量中元素都為 0，稱零向量。任何向量與零向量相加不會改變
• 向量相加變成零向量，變稱為反向量
• 向量可乘上純量 $pa=(p * a_1 p * a_2 … p * a_n)$
• 向量相加再乘純量，分配率成立
  • 有多個純量時，純量的結合率也成立
• 向量乘純量 1，結果不變；乘 -1 變反向量；乘 0 變零向量

向量內積

也稱為點積，相同維度的兩向量將相對應元素兩兩相乘後加總而得出純量。

向量的長度與內積

假設有 n 維向量 $a = (a_1 a_2 … a_n)$ 長度可表示為：$||a|| = \sqrt{a^2_1 + a^2_2 + … + a^2_n}$，$||a||$ 表示為相量 $a$ 的長度。

藉由向量長度和兩向量形成的夾角$\theta$，可定義出內積： $a \centerdot b = ||a||\ ||b||\ cos\theta$

用向量內積得知的向量長度，為直線距離或是幾何距離，沿著街道正行走的距離稱曼哈頓距離，假設(0,0) 到 (5,2)，幾何距離為$\sqrt{29}$，曼哈頓距離為$5+2=7$

向量內積在幾何學上的意義

• 向量內積交換律
• 向量內積分配律

$||b|| cos\beta + ||c||cos\gamma = ||b+c|| cos\alpha$

• 結合律不成立
  • 方向會不同，所以兩邊不成立
• 投影

向量內積等同於對應元素相乘再相加

$a \centerdot b = ||a|| ||b|| cos\theta = \sum^n_{i=1}a_ib_i$

向量外積

$||a||||b|| sin\theta$，內積回得到純量，外積則是向量

向量內積再計算相關係數的應用

相關係數，可用來判斷兩個變量之間的關聯性。該值介於 -1~1 之間

• 越接近 1，表正相關越高
  • 就是 $x$ 增大時，$y$ 會跟著增大
  • 等於 1 表示完全正相關，所有$(x,y)$都落在正斜率值線上
• 越接近 -1，表負相關越高
  • 就是 $x$ 增大時，$y$ 會跟著減小
  • 等於 -1 表示完全負相關，所有$(x,y)$都落在負斜率值線上
• 越接近 0，表無相關性
  • 就是 $x$ 增大與否，$y$ 都不受影響
  • 等於 0，完全不相關

皮爾遜相關係數

$相關係數=\frac{\sum^n_{i=1}(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum^n_{i=1}(x_i-\bar{x})^2}\sqrt{\sum^n_{i=1}(y_i-\bar{y})^2}}$

用向量內積計算相關係數

將個別 $x$、$y$ 與平均值的偏差視為向量，向量夾角的 $cos$ 值就是相關係數值。

兩個$n$維向量來表示 $x$、$y$ 與平均值偏差 $p = (x_1 - \bar{x}\ x_2 - \bar{x}\ …\ x_n - \bar{x})$ $q = (y_1 - \bar{y}\ y_2 - \bar{y}\ …\ y_n - \bar{y})$

假設向量 $p$ 和 $q$ 的夾角為 $\theta$，相關係數可如下表示

$相關係數=cos\theta=\frac{||p|||q||cos\theta}{||p||||q||} = \frac{p \centerdot q}{||p|| ||q||}$

以向量空間解釋，當 $\theta$ 為 $\frac{\pi}{2} = 0$，相關係數為 0，表不相關；$\theta$ 為 $0$，相關係數為 1，完全正相關；$\theta$ 為 $\pi=-1$，相關係數為 -1，完全負相關，這稱為餘弦相似性。

相關係數多大才算相關性大

以統計學上認為 $0.7$ 以上表示相關性大。以向量來說的話 $0.7$ 大約為 $cos45^o$ 約是$\frac{\pi}{4}$，所以 $45^o$ 以內，可算是相關性大。

矩陣運算

• 同階矩陣相加，矩陣相同位置的元素相加。非同階無法成立

  • 符合交換率、結合率

• 矩陣可乘上純量，每個元素乘純量

  • 分配律成立
  • 如果有多個純量，結合律對純量是成立
  • 除以純量，可視為乘以純量的倒數

• 矩陣減法，可視為加上矩陣的 -1 倍

• 矩陣元素都為 0，即為零矩陣，通常用 $O$ 表示

• wiki

矩陣相乘

$\left( \begin{array}{ccc} a & b & c\
d & e & f\
\end{array} \right)\left( \begin{array}{ccc} g & h\
i & j\
k & l\
\end{array} \right)=\left( \begin{array}{ccc} ag+bi+ck & ah+bj+cl\
dg+ei+fk & dh+ej+fl\
\end{array} \right)$

用 $\sum$ 表示：$\sum_{k=1}^m a_{ik}b_{kj}$，$a_{ik}$ 表示 A 矩陣的第 i 列第 k 行元素；$b_{kj}$ 表示 B 矩陣的第 k 列第 j 行元素。

矩陣相乘運算規則

• 不符合交換律，矩陣交換時左側行未必跟右側列相等 $AB \ne AB$
• 結合律 $(AB)C = A(BC)$
• 矩陣乘法對加法的分配律成立 $A(B_1+B_2) = AB_1 + AB_2$，$B_1$、$B_2$ 為同階矩陣
• 與零矩陣相乘都是零矩陣
• 矩陣乘法中若有純量相乘，該純量的計算先後順序不便 $pA\centerdot B = p(A\centerdot b) = A \centerdot (pB)$

方陣與單位矩陣

• 列數等於行數的矩陣稱為方陣，其運算與矩陣運算相同
  • 正方形概念
• 單位矩陣為方陣裡的一種
  • 不論方陣從左邊或右邊乘以單位矩陣，都不會改變方陣。使用 $I$ 或 $E$ 表示

方陣的反矩陣

• 矩陣沒有除法概念，利用乘以反矩陣來取代除法，只有方陣具有反矩陣
  • 相乘結果會等於單位矩陣 $A \centerdot A^{-1} = A^{-1} \centerdot A = I$

並非所有方陣都有反矩陣。方陣必須是非奇異矩陣才有反矩陣。非奇異矩陣是指方陣的行列是不為 0，若為 0 稱奇異矩陣。

轉置矩陣求解迴歸係數

轉置矩陣就是把矩陣的列和行元素交換。

就是將 $m$ 列 $n$ 行的矩陣 $A$ 轉製成一個 $n$ 列 $m$ 行的矩陣 $A^T$。$A$ 的 $i$ 列 $j$ 行的元素 $a_{ij}$，經過轉置後變乘 $A^T$ 的 $j$ 列 $i$ 行元素$a_{ji}$。

其中一個重要特性 $AB=(B^TA^T)^T$

轉置矩陣的運算規則

• 轉置後矩陣再轉至，及回復成原矩陣 $(A^T)^T = A$
• 矩陣相家後轉至，等於個別轉置再相加 $(A+B)^T = A^T+B^T$
• 矩陣乘以純量再轉置，等於轉置後在乘上純量 $(cA)^T=cA^T$
• 矩陣相乘之後再轉置，等於將兩矩陣先轉置且左有互換之後再相乘 $(AB)^T = B^TA^T$
• 方陣的反矩陣經過轉置後，等同於方陣轉置後的反矩陣 $A^{-1^T} = (A^T)^{-1}$