22. 딥러닝의 기본 개념- 시작과 XOR 문제 (lec 08-1)

인류의 궁극적인 꿈은 생각하는 기계!

사람의 뇌(brain)를 흉내내면 가능하지 않을까?

사람의 뇌와 비슷하게 동작하도록 구성. 일정 크기 이하라면 활성화(activation)되지 않도록 구성. 지금까지 우리가 배워온 것과 다르지 않다.

Logistic Regression을 여러 번 적용하면 오른쪽과 같은 형태로 구성할 수 있음.

XOR 문제 대두. OR과 AND에 대해서는 잘 동작하는데, XOR 문제는 linear 방식으로 풀 수가 없었음.

급기야 당대 최고의 학자인 Minsky 교수가 불가능하다고 선언.

layer가 여러 개 있을 때, 각각의 layer에서 사용한 W와 b를 조절할 수 없다고 수식으로 증명. 이 사건으로 머신러닝은 최소 10년에서 20년 정도의 침체기를 겪게 됨.

1986년에 Hinton 교수가 Backpropagation 논문 발표. 1974년과 1982년에 Werbos가 발표했던 논문의 독자적인 재발견. Output layer부터 Input layer까지 반대로 에러를 보정하는 기술.

고양이가 인지하는 감각을 흉내내는 네트워크. 사물을 볼 때, 뇌의 일부만 활성화되는 것에서 착안.

LeCun 교수가 만든 Convolutional 네트워크. 텐서플로우에서 배포하는 mnist 예제 코드가 이걸로 되어 있음. 여러 가지를 동시에 구성해서 99.2% 달성.

미국 해군에서 초창기에 개발했던 무인 주행 자동차.

영화 터미네이터에 나오는 인간형 로봇. My CPU is a neural-net processor.

Backpropagation에 존재하는 엄청난 문제점 대두. layer가 많을 경우 뒤에서부터 멀리 떨어진 layer의 W와 b를 변경할 수 없음. 머신러닝 분야의 두 번째 침체기.