定義: 梯度 下降法是用 來配對 出使 cost function值最小 的 θ,公式如圖 2,α為Learning rate(學習率),一開始我們會設置一個θ初始值,並且求出此θ值時,cost function的斜率方向,若斜率為正,則θ需變小(減去斜率值),斜率為負,θ則變大,如圖3,目的是找到使cost function斜率為0的θ值(cost function到x軸的距離為cost誤差值,找誤差值最小之點),此值稱為local optima,但不一定可以使的cost function值最小,只是較小的解。而θ為干若個變數,在gradient descent裡面,變數們需要同時更新(simultaneous update),如圖2下面所示,不可更新完一個變數θ0,在算下一個變數θ1,避免同一時間變數的改變互相影響。
- Mar 13 Wed 2019 22:47
Gradient descent
- Mar 13 Wed 2019 22:45
Cost function
定義: cost function為監督式 學習中用來計算預測值與真實質的誤差,公監督式 學習中用來計算預測值與真實質的誤差,公如圖 1,hypothesis唯一 映射函數 ( h maps from x’s to y’s ) ,輸入 已知資料 (x),得到 預測值(y);θ為可變變數,x、y之上標代表 為第幾筆樣本,m為樣本 總數,調整 θ使的 cost function得到 最小值,則此 θ組成的 hypothesis function為之最佳 linear regression預測函 式。1/2m分母的 2是為了 使之後微分 方便,除 以 m是為了 使平均誤差縮小。
- Mar 12 Tue 2019 10:15
UNIX SHELL中 tcsh 與 bash 之不同之處
bash指令 | tcsh指令 | ||||
alias |
alias ls='ls -lrt' 若要長久設定放置位置: |
- Mar 11 Mon 2019 14:56
UNIX指令 - 雜
- Mar 06 Wed 2019 11:10
Linux練習-使用Cygwin tcsh 實作dunnet (一)
練習目標:
1. A natural similarity exists between navigating the directories in a file system as compared to navigating the "rooms" in a text-based adventure game.
- Mar 05 Tue 2019 16:04
第二次安裝tensorflow (流水帳,包含錯誤與更正一大堆)
- Mar 05 Tue 2019 14:54
檢查電腦nvidia驅動程式版本
- Feb 27 Wed 2019 18:09
theano數學計算函式庫