深度學習理論 -- （3）深度學習概述

發表於 更新於 分類於

常見的深度學習架構，如多層感知器 (Multilayer Perceptron)、深度神經網路 DNN (Deep Neural Network)、卷積神經網路 CNN (Convolutional Neural Network)、遞迴神經網路 RNN (Recurrent Neural Network)。

一、Deep Learning

1.Neural Network

Fully Connect Feedforward Network
neural network 中神經元的函數稱爲 activation function（通常是非線性的），不一定要是 signoid
-> Matrix Operation
-> 普通的 GPU 加速就是利用并行方式進行矩陣運算

重點：How many layers? How many neurons for each layer?
deep learning 其實沒有比較簡單
只是把本來 feature transformation 的問題轉換成 design the network structure

2.Goodness of Function

$C (y, y) = - $

$$

3.Pick the Best Function

利用 Gradient Descent 找到使得 Loss Function 最小值的點
Backpropagation: an efficient way to compute ${\partial L \over \partial W
}$ in neural network

二、Backpropagation