교통공학 이야기

안녕하세요 루트에리노입니다. 오랜만에 글을 씁니다. 그동안 제 신분에 큰 변동이 있었네요. 저는 드디어 딥 러닝 관련 논문으로 졸업을 하고 신분이 바뀌었습니다. 이제 Ph.D가 됐네요 크크. 어릴 적에 로봇만화에 나오는 박사님들 보면서 나도 언젠가 과학자가 될거다! 라고 생각했었는데, 결국 저도 박사가 되긴 됐습니다. 만화에 나오는 박사님들은 과학자가 아니고 엔지니어였다는 걸 생각하면 그나마 근접한 길로 간것 같기도 하네요.

지난번 글 썼을때와 차이점이 있다면, 이제 딥 러닝은 대세가 아니라 일반이 됐습니다. 마치 여러분이 모르는 사이에 양자역학이 우리 생활 깊숙히 들어온것과 마찬가지로, 딥 러닝과 머신러닝은 이제 여러분이 고개를 돌리는 그 곳에 존재하고 있습니다.

딥 러닝에 대해 많은 관심을 가지고 계신 분들께 먼저 드릴 말씀은, 딥 러닝의 내용과 구현은 어렵지 않습니다. 저같은 수리적 재능이 없는 학생도 할 수 있는 정도죠. 박사 논문을 쓸 정도로요. 딥 러닝의 구현은 점점 쉬워지고 있고, 멀지 않은 미래에 엑셀같은 딥 러닝 전용 프로그램이 나올지도 모릅니다. 지금도 하지만 딥 러닝은 만능이 아닐 뿐더러, 그 적용은 상당히 어렵습니다. 어디에 어떻게 써야할지, 많은 연구자들이 머리를 맞대로 있죠. 더 많은 사람들의 창의적 적용이 필요합니다. 저는 그게 여러분이 될 수도 있다고 생각합니다. 헤이, 츄라이 츄라이.

그럼 딥 러닝의 역사에 대해 좀더 이야기를 해볼까요.

1. 지난회 마지막 이야기 - 딥러닝의 두 번째 겨울

터미네이터의 기반 아키텍쳐로까지 등장하면서 잘 나가던 다층 퍼셉트론, 그당시 말로 인공신경망, 요즘 말로 딥러닝에 두 번째 겨울이 온 것은 결국 "안되잖아? 장비를 정지합니다." 였습니다. 인공신경망 연구에 혁신을 안겨준 기술적 발전, 백 프로파게이션으로 다 잘될 줄 알았던 다층 퍼셉트론에 다시금 춥디 추운 빙하기가 찾아온 건 몇 가지 이유가 있었습니다. 인공신경망의 붐이 일어나면서, 이전보다 훨씬 더 많은 층을 쌓은 모델들이 등장했고, 사람들은 딥러닝을 더욱 더 어려운 곳에 굴리기 시작했죠. 그리고 몇몇가지 소기의 성과도 있었습니다. 하지만 이런 하드코어한 난이도에 딥 러닝이 뻗어버리기 시작한 겁니다.

먼저 전에 말씀드렸던 기울기 손실 문제가 있습니다. 기울기 손실 문제는 결론적으로 "층을 엄청나게 많이 쌓아버리니 입력값과 출력값 사이에 인과관계가 점점 희미해져서 백 프로파게이션을 사용할수가 없더라"는 얘깁니다. 한 층이 올라갈때마다 곱셈을 하게 되는데요, 여러분도 잘 아시는 "복리법"마냥 층을 많이 곱하면 곱할수록 인과관계가 사라져 버린 겁니다. 이 문제는 "현재에도" 연구자들을 괴롭히는 문제 중에 하납니다.

두 번째로 다층 퍼셉트론의 최적화가 이론적으로 정말 최적이 아니었다는 점이 있습니다.



혹시 관심이 있는 전공 희망자 분들을 위해 말씀드리자면, 다층 퍼셉트론 모형은 레이어가 3층 이상이면 볼록하지 않음이 증명되어 있습니다. 이 글을 읽으시는 분들은 "딥러닝은 이 예측이 수학적으로 완결성이 있는지 알 방도가 없다"는 걸로 이해하시면 됩니다. 증명이 되어 있다고 했죠? 당연히 현재에도 풀리지 않은 문제입니다. 앞으로도 안 풀릴겁니다.



다시 한번 붐업이 왔던 인공신경망은 쏘오기 메스꺼워를 외치며 기울기 손실 문제의 기울기마냥 사라져갔습니다. 특히 수학적인 완결성을 가진 서포트 벡터 머신(SVM), 단순한 모형의 결합으로 높은 성능을 보인 랜덤 포레스트 등의 모형들이 이론적으로나 성능적으로나 모든 방면에서 신경망보다 낫다는 것이 나타났죠. 이러한 모형들에 대해선 나중에 다루도록 하겠습니다.

결국 인공지능에는 두 번째 겨울이 찾아왔습니다. "AI Winter"이라는 단어가 따로 있을 정도로 혹독한 겨울이 말이죠.

2. 영웅의 등장 - 제프리 힌튼




물론 현대의 머신러닝과 인공신경망에 기여를 한 학자들은 무수히 많습니다. 하지만 많은 사람들이 딥러닝의 시대가 다시 온 데에는 딥 러닝의 "대부"로 불리는 제프리 힌튼(Geoffrey Hinton) 교수의 영향력이 컸다고 말합니다.

제프리 힌튼 교수는 규칙 기반의 AI로는 인간을 따라잡는 데에 한계가 있다고 생각했습니다. 마치 인간이 어떠한 학습 규칙이 있지 않듯이, 하나 하나 정해주는 것으로 학습하는 일반적 모형으로는 AI가 될 수 없다고 생각한거죠. 그리고 이 믿음은 그 당시의 학계의 인식과는 매우 큰 거리감이 있었습니다. 이로 인해 힌튼 교수는 많은 어려움을 겪을 수 밖에 없었습니다.

제프리 힌튼 교수는 하나의 홈런으로 뜬 영웅이 아닙니다. 이 사람의 경력을 살펴보면, 집요함이 이룩한 승리가 아닐까 싶습니다. 힌튼 교수의 첫번째 업적은 지난번 1편에서 말씀드렸던 오차역전파법(backpropagation)을 발표했던 1986년의 논문에 부 저자로 참여한 것입니다. 하지만 머지 않아, 인공신경망은 기울기 손실 문제에 맞딱뜨렸고 처참하게 침몰했습니다.

두번째 겨울은 첫번째 겨울만큼이나, 어쩌면 더욱 더 혹독했습니다. E스포츠에서 3이 중요한 숫자듯이, 세번은 통수맞지 않는다는 의지로 학계는 인공신경망을 배제하기 시작했습니다. 한때는 "Neural Network"라는 단어가 들어가면 출판을 시켜주지 않을 정도였죠. 그리고, 굉장히 길었습니다.

제프리 힌튼 교수가 딥 러닝의 시대를 다시 여는데에는 결코 짧은 시간이 걸리지 않았습니다. 80년대 후반부터, AI과 관련된 분야에는 혹독한 자금 삭감과 출판 거절 메일이 날아들기 시작했죠. 90년대에는 딥 러닝에 대한 지원은 사실상 없는 것이나 다름 없었습니다. 제프리 힌튼과 르쿤 교수와 같은 선구자들이 업계에서 존경받는 이유는, 이러한 혹독한 시간에서조차 포기하지 않았다는 거죠.

이 겨울에도 인공지능과 인공신경망의 기술적 발전은 이루어졌습니다. 이 혹독한 기간에도 제프리 힌튼 교수는 지속적으로 신경망에 대한 연구를 지속했죠. 대표적으로, 1998년 등장한 이미지 인식 기술인 LeNet-5 가 있습니다. 이를 개발한 얀 르쿤(Yann LeCun) 교수는 당시 힌튼 교수의 연구실에서 포닥으로 근무중이었습니다. 저도 포닥인데 허허 ㅠㅠ



여러분이 "딥러닝 아키텍쳐"의 예시로 가장 많이 보실 수 있는 이 그림이 바로 LeNet-5입니다. 지금도 상당히 자주 이용되고 있습니다.

이 길고 긴 겨울이 끝나게 된 계기는 힌튼 교수가 2006년에 개발한 Deep Belief Network(DBN)입니다. "딥"이 드디어 등장하기 시작했네요. 위에도 말했지만, 신경망(Neural Network)이라는 표현이 들어가면 게재 거절을 당하기 때문에 Deep이라는 표현을 새로 만들어서 넣었다고 합니다. 그야말로 눈물이 앞을 가리는 상황에 간신히 출판이 된 거죠. 이제 "딥 러닝", 심층학습이라는 용어가 세상에 등장했습니다.

DBN은 기울기 손실 문제를 해결하기 위해 비지도학습을 통한 사전학습을 실시하는 방법을 이용한 모형입니다. 이를 통해 많은 문제가 해결이 됐습니다. 하지만, 이 DBN의 등장에도 불구하고 아직 세상은 딥 러닝을 완전히 인정하지 않았습니다. 그래서 그거 가지고 되겠어? 이게 아직까지 학계의 인식이었습니다. 2006년 입니다. 벌써 20년에 가까운 차가운 세월들이 지났음에도 여전히 겨울은 끝나지 않은거죠.

그리고 6년 후...

3. 이미지넷 챌린지, 그리고 드디어 찾아온 딥 러닝의 시대

이미지넷은 대략 1400만 개 정도의 이미지를 가진 데이터베이스입니다. 이미지 인식 소프트웨어를 위해 라벨링이 되어있는 데이터베이스죠. 이 프로젝트를 위해 매년 ImageNet Large Scale Visual Recognition Challenge, 줄여서 ILSVRC를 개최합니다. 2010년 처음으로 열렸고, 2010년과 2011년의 대회에서 등장한 최우수 모형들은 기존의 기술을 바탕으로 엔지니어들이 결정하여 만드는 모형들이었습니다. 2011년에 우승한 제록스의 모형은 26%가량의 오차율을 보였고, 20% 이하의 오차율은 불가능한게 아닌가 하는 인식조차 있을 때였죠.

하지만 2012년의 대회가 세상을 바꿔 놨습니다.



힌튼 교수의 제자인 알렉스 크리제프스키가 힌튼 교수와 함께 LeNet을 개조하여 내놓은 알렉스넷은 15.3%의 오차율로 2위 팀을 무려 10.9% 차이로 따돌리고 우승합니다. 2위인 동경대 팀은 요소 추출 기법을 통한 전통적 인식 기법을 사용했습니다. 2위인 도쿄대학 팀과 3위인 옥스포드 대학 팀의 오차율 차이는 0.8%밖에 되지 않았습니다. 옥스포드 대학 팀과 4위인 제록스 팀 사이의 차이는 그보다 더욱 작았죠. 2위와 그 아래 팀들이 이런 저런 요소 추출 기법을 복합적으로 사용하여 0.01%쯤의 향상을 이루어 내며 기뻐할 무렵에 알렉스넷은 아예 차원이 다른 정확도를 선보인 것입니다.

세상은 충격에 휩싸였습니다. 페이커가 첫 데뷔해서 엠비션을 솔킬냈을 때의 충격보다 더했죠. 그땐 엠비션이 실수라도 했지, 이건 그런 정도의 문제가 아니었거든요. 이때부터 모든 이미지 프로세싱은 인공신경망이 평정하기 시작했습니다. 위의 그래프는 2015년 인간을 뛰어넘는 인지도를 보여준 ResNet이 나오기까지 연도별 결과표이고, 주황색 선은 교육받은 인간의 인지도(5.1%)를 의미합니다. 위의 그래프에 보시다시피, 이미지넷 챌린지에 2015년 이후로 나온 모형들은 인간의 인지를 뛰어넘는 상황입니다. 이미지 프로세싱이 평정되자 이제는 일반적인 데이터에도 사용되기 시작했고, 이젠 거의 모든 예측 분야에 사용되고 있습니다.