Funkcyjo ReLU, tyż mjanowano Rectifier - zorta aktywacyjnyj funkcyje we neuronowych necach. Dowo uůna wert 0 lo argumyntu majszego jak 0, a we inkszym przipadku uoddowo przidany wert. Używano m. in. we necach zbajstlowanych do rozpoznawańo mowy[1]. Matymatyczno definicyjo to je:

Graficzno reprezentacyjo funkcyje

Pochodno uod funkcyje ReLU:

Przipisy

  1. Andrew L. Maas, Awni Y. Hannun, Andrew Y. Ng (2014). Rectifier Nonlinearities Improve Neural Network Acoustic Models