알파고는 5달전에 판후이(2단?)를 5:0으로 이겼었지만. 기보 내용이 좋지 못하여. 실력을 높게 인정받지 못했습니다.
그런데 오늘도 놀라운 모습을 보여주며 세계 순위 3위권인 이세돌 9단을 이겼습니다. 이제 프로 정상급 이상 실력이란건 누구도 부인하기 어려울껍니다..
도대체 5개월 동안 무슨 일이 있었길래? 이렇게 실력이 급성장했을까요?

(과연 성능이 향상되었을까라는 부분도 논란의 여지가 있는데.. 판후이와의 속기 대전 승률과 비교해 타이젬에서 알파고로 추정되는 플레이어의 속기 승률이 비약적으로 향상된점으로 보아 사견으로는 대국시 시간이 많이 드는 시뮬레이션을 활용하는 부분에서 근본적인 향상이 있었다고 보입니다.. 5개월전 방식은 무조건 시뮬레이션을 사용했는데 이게 수읽기 레벨에 직접적인 영향을 미칠것으로 보여.. 시간을 줄이는 속기시 시뮬레이션을 제한적으로 사용하게 되므로 급격한 성능하락을 막을수가 없을껍니다..)

간단하게 5달전 판후이를 이기고 발표됐던 알파고 알고리즘을 정리하면 다음과 같습니다..(참조: http://spri.kr/download/14726)
단계1: 딥러닝(CNN) 으로 다수(다양한 수준의)의 기보를 이용한 학습 => 정확도 57%
단계2: 단계1에서 만들어진 네트워크를 이용한 자체 대국을 통한 강화 학습 => 기존 바둑프로그램 대비 85% 승률
단계3: 단계2의 프로그램을 이용해 데이터를 만들어 딥러닝(CNN)을 통해 형세판단 기능을 학습 => 오차 0.234
단계4: 단계2의 네트워크를 이용한 다음착수 후보군 결정해서, 단계3과 MCTS 시뮬레이션을 1:1 결합한 방식으로 평가해 후보군중 선택해 다음수 결정

5개월전에는 이런 방식이었는데 과연 어떻게 성능향상이 있었을까 한번 상상해봤습니다...
(일단 하드웨어적으로는 성능향상이 있었을것 같고.. 이것 이외에 소프트웨어적으로 어떻게 향상시켰을까 위주로 생각해봤습니다...)

상상1: 단계1에서 성능 향상? 비록 단계1이 거의 초기 네트워크 정도로만 쓰이지만 57% 정확도는 아무래도 부족하다고 생각합니다. 특히나 다양한 수준의 기보를 혼용해서 썼다면 노이즈가 과도하게 많아서 변수가 충분한 딥러닝을 쓰더라도 그 노이즈가 포용되지 않을 가능성이 큰 것으로 생각되어 학습에 문제가 있는게 아닌가 하는 생각도 듭니다.. 좀 더 수준급 기보만 정제해서 데이터를 구성했다면 딥러닝의 변수로도(심하면 쉘로우 러닝으로도 가능?) 학습 가능한 수준의 노이즈로 줄어 정확도가 많이 올라가지 않을까 합니다..

상상2: 단계2에서 성능 향상? 5개월전 방식이 단계1에서 나온 네트워크간의 대결만으로 강화 학습을 통해 성능 향상을 시켰다고 나오는데.. 이 부분이 조금 이해가 안 갑니다.. 단계4까지 이용하는 최강자를 투입해서 강화학습을 시키면 성능이 더 올라갈꺼 같습니다..

상상3: 단계3에서 성능 향상? 여기도 5개월전 방식에서는 단계2에서의 최강자를 이용해 시뮬레이션을 해서 데이터를 만들어 학습시킨다고 나오는데.. 이 부분도 역시 이해가 안 갑니다.. 역시나 단계4까지 이용하는 최강자를 투입해 더 정확한 학습 데이터를 만들수도 있고.. 이 방법 이외에도 비용만 충분하다면 정상급 프로기사를 활용해 정확한 학습 데이터를 직접적으로 제조할수도 있습니다.. 이렇게 해서 학습시키면 형세판단 네트워크 정확도가 더 올라갈껍니다

상상4: 5개월전 방식에서는 단계4에서 단계3과 MCTS 시뮬레이션을 같은 비중으로 결합한다고 나오는데.. 단계3의 성능이 비약적으로 올라갔다면 시간이 많이 소모되는 MCTS 시뮬레이션의 비중을 낮출수 있어 속기의 승률도 높일 수 있고 남는 시간을 이용해 더 깊은 수읽기도 가능하리라 봅니다....

상상5: 리워드 방식에서도 변화가 가능하리라 봅니다. 5개월전 방식에서는 예상 승률을 최대화 시키는 쪽으로만 리워드를 줬다면... 여기에 몇집 이득인지에 대한 리워드를 혼합해서 넣어서 보완할수 있는 여지가 있죠... 예를 들어 5집 이상 이길 승률을 최대화 시키는 쪽으로 리워드를 줄수도 있고 특히나 국면이 암울할때는 몇집 이득인지에 대한 리워드를 좀 더 중점적으로 쓸수도 있을것 같습니다