Funkcyjo ReLU

Funkcyjo ReLU, tyż mjanowano Rectifier - zorta aktywacyjnyj funkcyje we neuronowych necach. Dowo uůna wert 0 lo argumyntu majszego jak 0, a we inkszym przipadku uoddowo przidany wert. Używano m. in. we necach zbajstlowanych do rozpoznawańo mowy^[1]. Matymatyczno definicyjo to je:

$f(x)=x^{+}=\max(0,x)={\frac {x+|x|}{2}}={\begin{cases}x&{\text{eli }}x>0,\\0&{\text{we inkszym przipadku}}.\end{cases}}$

Pochodno uod funkcyje ReLU:

$f'(x)={\begin{cases}1&{\text{eli }}x>0,\\0&{\text{eli }}x<0.\end{cases}}$

Przipisy

↑ Andrew L. Maas, Awni Y. Hannun, Andrew Y. Ng (2014). Rectifier Nonlinearities Improve Neural Network Acoustic Models

[1] Andrew L. Maas, Awni Y. Hannun, Andrew Y. Ng (2014). Rectifier Nonlinearities Improve Neural Network Acoustic Models

[1]