23. 딥러닝의 기본 개념2- Back-propagation 과 2006-2007 '딥'의 출현 (lec 08-2)

머신러닝의 발전에 엄청난 공을 세운 캐나다의 단체. 이 단체 덕분에 머신러닝을 주도하는 연구소나 학자들은 캐나다의 몬트리올, 토론토 출신. 1987년 Hinton 교수가 이 단체의 지원을 받기 위해 캐나다로 이주하면서 발생한 현상.

가장 어려웠던 시기에 도박과도 같은 베팅을 Hinton에게 했던 CIFAR.

Hinton은 2006년과 2007년 머신러닝을 부활시킬 수 있는 논문 발표. 1987년 이주 이후 20년만에 거둔 성과.

• 여러 개의 layer가 있어도 초기값을 잘 선택하면 학습이 가능하다.
• 신경망을 잘 구성하면 복잡한 문제를 효율적으로 풀 수 있다.
• Neural Network 대신 사람들의 주의를 끌 수 있는 Deep Learning으로 rebranding.

이미지가 무엇인지 맞추는 ImageNet 경진대회에서 Hinton 교수님 밑에 있는 대학원생이 AlexNet으로 획기적인 성능 향상. 사람들의 관심을 끌어올린 계기가 됨.

ImageNet은 2015년 사람보다 더 잘 구별할 수 있는 수준인 97%까지 발전. 스탠포드 대학생의 수준은 95%.

현재는 사진의 상황까지 설명 가능.

김성훈 교수님 연구실에서 하는 연구 중의 하나. 사람이 음성으로 내린 명령을 분석해서 실행해 줌. 공상과학 영화에 나오는 한 장면.

중국 바이두에서 개발한 음성 인식 기술. 소음이 심한 곳에서도 사람의 음성을 90%까지 인식 가능.

사람보다 게임을 더 잘 한다는 딥러닝

알파고에도 일부 포함되어 있다는 딥러닝.

Hinton 교수님께서 지금까지 발견한 것들에 대한 요약.

• labeled 데이터셋이 너무 작았고
• 컴퓨터는 수백만 배 느렸다.
• 초기화를 잘 하지 못했고
• non-linearity(sigmoid)를 잘못 사용했다.

왜 머신러닝을 공부해야하는지 묻는다면?
데이터를 갖고 있거나 무언가를 팔고 있거나 비지니스를 하고 있다면, 누구라도 머신러닝을 활용할 수 있다!
머신러닝은 이미 우리 옆에 있고, 세상을 이롭게 할 준비가 된 상태이다. 주인공이 우리가 되면 더 좋지 않겠는가?

음성을 인식해서 자동으로 표시되는 유튜브 자막. 사람이 입력한 것이 아님.

친구들이 올린 내용 중에서 내가 좋아할 만한 것만 추천하는 페이스북 뉴스피드 시스템.

구글 검색 시스템. 내가 찾고 싶은 것을 상위에 표시해 줌.

올 여름에 내가 볼 영화를 넷플릭스는 알고 있다!

아마존의 제품추천 시스템. 머신러닝을 사용하지 않고 비즈니스는 가능한 것일까?

왜 지금이어야 할까?

• 세계적인 전문가가 되기에 늦지 않았고, 그렇게 복잡하지도 않다.
• 실제 사용할 수 정도로 정확하고, 공개된 도구 또한 많고, 파이썬과 같은 쉬운 언어가 있다.
• 그럼에도 불구하고 가장 중요한 것은, 재밌다!!