DNN의 특징 (Heuristic, 발견법)

DNN을 공부하고 있는 입장에서 항상 의문이 들었습니다.

 

이 technique을 왜사용할까?

 

이것말고 다른 좋은 방법은 없는가?  

 

DNN은 보통 technique이 나온 근거로 경험상(Heuristic)이라는 말이 많이 나옵니다. 

 

heuristic이란?

= 말그대로 해보니까 잘된다. 해보니까 기존(baseline)보다 좋았다.

 

이는 DNN이 너무 많은 layer와 parameter, big data를 이용한 training 등으로 인해 수학적인 근거를 명확하게 찾기가 쉽지 않습니다.

 

또한, filter의 값을 채워넣는 Weight initialization도 random한 value을 사용됩니다.

(물론, weight initialization의 방법도 다양합니다. 하지만 제안된 방법들도 대부분 random값에서부터 technique을 적용합니다.)

 

여러가지 특수하고 높은 복잡도(complexity) 때문에 일반적으로 algorithm을 해석하는 방법으로는 이를 분석하기가 쉽지 않습니다.

 

DNN을 공부할때는 DNN의 heuristic한 성격을 이해하고 가면 좋겠습니다.