poorman

[딥 러닝] 싱글 뉴런 학습 시키기 - 역전파(back propagation) 구현하기

1. MFC로 다이얼로그 구성

1) Toolbox

2. 소스 코드

1) Neuron 클래스에 back propagation 함수 추가

#define MAX2(a,b) (a) > (b) ? (a) : (b) class Neuron { public: double w_; // weight of one input double b_; // bias double input_, output_; // saved for back-prop public: Neuron() : w_(2.0), b_(1.0) {} Neuron(const double& w_input, const double& b_input) : w_(w_input), b_(b_input) {} double getAct(const double& x) { // for linear or identity activation functions return x; // for ReLU activation functions /*return MAX2(0.0, x);*/ } double getActGrad(const double& x) { // for linear or identity activation functions return 1.0; // for ReLU activation functions //if (x > 0.0) return 1.0; else return 0.0; } double feedForward(const double& input) { input_ = input; const double sigma = w_ * input + b_; output_ = getAct(sigma); return output_; } void propBackward(const double& target) { const double alpha = 0.1; // learning rate const double grad = (output_ - target) * getActGrad(output_); double dw_ = alpha * grad * input_; // last input_) came from d(wx+b)/dw = x double db_ = alpha * grad * 1.0; // last input_) came from d(wx+b)/db = 1 w_ -= dw_; b_ -= db_; } };

2) Back-Prop 버튼과 target 에디트 박스 값과 연동

3. 실행 결과

초기값 설정

x : 1, Weight : 2, Bias : 3, y : 5, target : 13

딥 러닝에 대해 독학을 하면서 정리한 걸 적고 있습니다.

전공과 무관하며 전문적인 지식이 아니므로 개인적인 의견과 부족하고 틀린 점이 많습니다.

추가 지식 및 잘못된 점을 지적해주시면 공부하는데 많은 도움이 되겠습니다. 감사합니다^^

- 푸어맨

[Reference]

(MFC에서 콘솔창 띄우기) http://poorman.tistory.com/63

(역전파 구현하기) http://blog.naver.com/atelierjpro/220703090092