PGR21.com
- 자유 주제로 사용할 수 있는 게시판입니다.
- 토론 게시판의 용도를 겸합니다.
Date 2016/03/13 23:01:23
Name 친절한 메딕씨
Subject [일반] 알파고의 약점이라기 보단 대응법을 찾은게 아닐까 생각해보며...
먼저 저는 바둑을 좀 알긴 압니다만 아마추어 고수 정도는 아닙니다.
타이젬에서 2단, 3단 왔다 갔다 하는 하수입니다.

많은 분들이 알파고의 약점이 불리하면 무리수를 둔다라는 생각에 좀 다른 견해를 가지고 있어서 몇자 적어봅니다.

지고 있는 상황에서의 무리수는 알파고의 약점이 아닙니다.
그 상황이면 저도 오랫동안 바둑을 두고 프로기사들의 대국도 방송을 통해서 많이 봐왔지만
다들 그렇거든요... 뭐 어쩌면 당연한거겠죠...

다만, 사람들은 그런식으로 소위 꼼수를 던지진 않고 좀 더 복잡하게 끌고 나가는 경향이 있죠..
3국에서의 이세돌이 그랬습니다. 하변의 백집에 과감하게 쳐들어가 끊임없이 흔들었지만 알파고의 완벽한 대처로 통하지 않게 되었죠...

4국에서도 초반엔 집으로는 백이 불리했습니다.
하지만 3국에서는 해볼거 해보다 마지막에 저기 밖에 안남았다 판단하고 좀 뒤늦게 들어간면이 있고 4국에선 그 시점을 좀 앞당겨 약점이 조금이라도 있을때 승부수를 던진게 다를뿐입니다.

이것이 결과적으로 옳은 판단이었고 좋은 전략이었습니다.
오늘 대국에 임하기전 전략을 아마 그런식으로 짜왔지 않았을까 하는 생각을 해봅니다.
서로 실리를 차지하다 유리하면 3국의 알파고와 같이 두고, 불리하면 조금 이른 타이밍에 승부를 보자는......

사실 이세돌의 기풍이 그렇습니다.
실리형이고, 불리할시 상대가 생각지 못하는 창의적인 착점으로 이른바 흔들기에 들어가 상대에게 실수를 유도하여 이긴 대국이 정말 많습니다.

05년 도요타 덴소배 결승 창하오와의 대국이 가장 먼저 떠오르네요...
당시 이창호에게 번번히 국제기전 결승에서 고배를 마시던 창하오9단이, 이창호9단이 아니면 누구든 자신있다고 했었는데 2:1로 이세돌에게 무릎을 꿇었습니다.
마지막 3국에서 시종일관 끌려가던 이세돌이 중반 이후 자신의 장기인 흔들기에 돌입하며 연이은 창하오의 완착을 이끌어 냄으로서 승리하게 되죠..

알파고는 불리해진 상황에서 자신만의 방법으로 흔들기에 돌입한겁니다.
다만 앞서 말했듯 그 방식이 우리와 다른거죠.
하수인 제가 봐도 절대 두지 말아야 할곳을 둔다거나 하는 것 말입니다.

결론은 이세돌 9단의 원래 기풍이자 장기인 실리 추구 이후 침투에 의한 흔들기를 조금 빨리 들어가야 승산이 있다는 겁니다.
아마 5국도 그런면에선 크게 달라지지 않을겁니다.
또, 흑이든 백이든 상관없다고 보는게 같은 전략으로 5국에 임하면 주도권을 갖으면서 할 수 있기에 '흔들기'의 타이밍을 좀더 적절한 시기에 가져 올 것 같은 생각을 하거든요..

통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
16/03/13 23:04
수정 아이콘
확실히 3국에서의 하변 싸움과 이번의 상변, 중앙 싸움은 좀 느낌이 달랐죠.
전자는 이미 두텁게 쌓인 곳에 들어가는 판이라 거의 가망이 없어보였는데, 후자는 그 정도로 흑이 두텁게 쌓인 상황은 아니었고 어려운 상황이긴 했지만 운신의 폭이 좀 있었으니까요.
레모네이드
16/03/13 23:14
수정 아이콘
알파고와는 상관없는 질문인데요. 도요타덴소배 같은 예전경기 vod를 볼 방법이 있나요?
친절한 메딕씨
16/03/13 23:23
수정 아이콘
찾기 쉽지 않네요... 기보 찾기도 쉽지 않으니...
저두 글 쓰면서 혹시 있나 찾아봤거든요..
윤하아리
16/03/13 23:21
수정 아이콘
아마 초단급도 안되는 기력이긴 하지만, 중반부 우측에 이미 잡힌말을 한칸 더 내린수는 차라리 꼼수보다도 못하고, 바둑을 아는사람은 그 누구라도 (그 수를 못보면 모를까) 이해할수 없는수라고 생각합니다. 그 수를 알파고의 버그라고해야할지, 진짜 인간같은 인공지능이라 멘붕끝에 그냥 던진수라고 봐야할지 판단할수가 없네요...
간디가
16/03/13 23:31
수정 아이콘
개인적인 판단으로 다른 곳에 영향을 끼치지 않으면서 단박에 대세를 뒤집을만한 곳을 두는 것 같았습니다.문제는 그런 수순에서 우리가 생각하는 당연하다라는 개념이 빠져있어서 1선으로 내리는 수 같은게 나온 거겠죠.
친절한 메딕씨
16/03/13 23:40
수정 아이콘
그것도 그렇고 좌하귀에 끼운것두 그렇죠.. 오히려 이게 더 손해수죠..

근데 그냥 우리가 생각했을때 그 상황에서의 이해할 수 없는 손해수죠..
알파고 입장에선 뒤진 상황에서 손해를 감수 하더라도 그냥 변화를 주고자 했던 수에 불과했다고 생각합니다.

돌이켜 보면 1,2,3국 모두 후반부에 "손해지만 이래도 이겨" 하는 수는 나왔었죠.
1국이었나요?
우상귀의 바꿔치기만 하더라도 모든 해설이 눈에 뻔히 보이는 손해라고 했었는데 그냥 그렇게 결정을 지어놔도 이긴다는 판단을 했을거라고 했으니까요...
1,2,3국과 다른건 알파고가 4국에선 불리한 상황 이었다는 거구요.

4국으로 얻은건 알파고는 초반 중앙에서의 세력까지 집으로 계산을 할 줄 안다는 추측을 했었는데 거기까진 아니었다는게 드러났다는 거 같습니다.
또, 1국에서의 초중반 우하쪽으로 뜬금없이 들어갔던 수가 나중에 우변침투에 절묘하게 도움을 주면서 그것까지 계산했던게 아니었냐는 추측이 있었는데 그것 또한 사실이 아님을 알게 되었습니다.
단지 추후 이어진 상황에서 그 타이밍에 들어갔기 때문에 그 수가 묘수 역할을 했던거 였을 뿐이죠..

기계이기 때문에 멘붕 이런건 없겠죠..
또, 버그라고 생각하지도 않습니다.
그냥 어떡해든 해보려고 했을뿐...

일단, 이게 제 짧은 견해입니다.
뽀로뽀로미
16/03/13 23:23
수정 아이콘
누가 알파고 상대로 이기려면 운빨x망 게임 밖에 없다는 말을 한적이 있는데 저는 알파고가 이런 확률에 의지하는 게 약점 아닌 약점인 것 같습니다.
알파고의 계산은 여태 쌓은 경험치에 의해 승률 높은 곳을 가치평가해서 최고 높은 평점에 둔다고 알고 있습니다.

그런데 모든 경우의 수를 계산하는 방식이 아닌 알파고 특성상 100% 승률이 나오지 않는 부분이 분명히 존재할 테고 그 부분에서 변화가 생기면
판세가 뒤집힐 수 있는 것 같습니다. 오늘도 개발자 트윗을 보면 "79수에서 승률이 70%였는데 87수에서 승률이 엄청나게 떨어졌다"라는 말이 있습니다.

알파고가 79수쯤 예상에서는 무려 30%나 패배할 확률이 있었다는 거죠. 이 말은 이세돌 기사가 알파고와의 대결에서 78수같은 파급력을 둔 수를 두었다고 가정했을 때 5판 중 1.5판정도는 승산이 있다는 말일 겁니다. 아무튼 모든 경우의 수를 계산해서 처음부터 끝까지 100%승률로 두는 인공지능이 나오기 전까지는 승산이 있다고 생각합니다. 물론, 알파고 데이터가 쌓일수록 점점더 힘들어지는 건 사실이겠지만요.
다시해줘
16/03/13 23:28
수정 아이콘
이건 바둑을 잘 아시는 분들이 아니라 확률을 잘 아시는 분들이 해석하는 걸 들어보고 싶습니다.
신의와배신
16/03/13 23:43
수정 아이콘
알파고는 78수에도 불구하고 상변백이 잡혔다고 보고 우변을 선수활용했습니다. 끝내기를 하다가 사는 수를 뒤늦게 발견하고 확률이 요동을 쳤고 그 다음에 에러를 내면서 실수를 한것입니다..
신의와배신
16/03/13 23:38
수정 아이콘
타이젬관전기에 의하면 오늘의 신의 한수라는 78수를 둔후 79번째수는 나쁜 수가 아니었답니다. 80수가 패착이었는데 거기서 알파고가 수를 간과해서 승패가 뒤집혔다고 합니다

그 말이 맞는다면 오늘의 승리는 운빨에 의한 승리에 가깝단 이야기가 됩니다. 최선의 수가 있었는데 이세돌 9단이 실수하고 알파고가 따라 실수하면서 78수의 노림수가 통했다는 말이지요

그 기사를 읽고 나자 으스스하더군요. 5국을 이기기는 쉽지 않을 듯 합니다

링크 걸어봅니다
http://www.tygem.com/news/news/viewpage.asp?pagec=&seq=20777&gubun=W013&igubun=11&find=&findword=
간디가
16/03/13 23:57
수정 아이콘
음...긍정적으로 보자면 진인사대천명이 아닐까 싶습니다.최선을 다했기에 하늘(?)이 응답한 거라고 생각합니다.애당초 초고수라고 해도 항상 정답만 두는 것은 아니니까요.그런 의미에서 좀 더 발전된 모습을 봤으면 하는 바람입니다.결국 저 수가 요행이니 뭐니 따지는 것도 판밖에서 있었으니 가능한 것이고 저 안에서 저 수는 충분히 가치있었던 수였으니까요.딱히 상대의 실수를 유발하기위해 낸 수도 아니고요.5국에서 다시 이전처럼 패배하더라도 저는 괜찮을 것 같습니다.이세돌다운 바둑을 뒀고 그 모습을 봤기에 후회는 없습니다.
신의와배신
16/03/14 01:23
수정 아이콘
물론입니다만 1 2 3국의 무시무시한 알파고 였다면 발견 가능한 수가 아니엇을까 라는 관점에서 바라본 댓글입니다.

이세돌9단을 폄하해서가 아니라 좀더 깔끔하게 마무리 하지 않으면 언제나 역습을 당해서 좋은 바둑을 그르칠 가능성이 있습니다.
16/03/14 07:50
수정 아이콘
123국의 무시무시한 알파고가 4국에서의 저 수를 발견 못한 겁니다. 지금 무슨 소리를 하시는건지..
신의와배신
16/03/14 09:07
수정 아이콘
발견이 어려운 수는 아니었고 프로기사들은 일감으로 안되는 수순을 찾아냈습니다. 제 말의 논리는 딥마인드 CEO의 트윗을 기초로 합니다. 79수가 실수였음을 87수때 알았다.

즉 78수가 리스트에 있었다면 파훼될 수도 있었으니 보다 수순이 정교해져야한다는 말입니다.

이세돌 9단 팬인데 커제에게 질때도 묘수를 터뜨리고도 질 때가 많았습니다. 수순을 보다 정교하게 가져가야합니다
레모네이드
16/03/14 00:29
수정 아이콘
경기후에 K바둑에서 그리는 참고도를 봤는데 백82후에 흑이 참고도 4처럼 호구쳐서 진행되면 이세돌 9단이 중앙방면에서 득을 보긴 보더군요. 참고도 3보더 더 좋은 지 아닌 지는 모르겠지만요
16/03/14 00:44
수정 아이콘
기사에 80을 잘못 뒀다는 얘기는 없어서... 82를 말씀하시는 건가요? 82라면 아래 댓글에 영어해설인 마이클 레드먼드 9단의 분석으로는 수가 있었다고 했다네요.
신의와배신
16/03/14 01:21
수정 아이콘
82가 맞습니다
다시해줘
16/03/14 13:48
수정 아이콘
운도 실력이다, 라는 말이 있습니다.
신의와배신
16/03/14 14:19
수정 아이콘
그럼요
이진아
16/03/13 23:51
수정 아이콘
알파스타가 나왔으면 하는 바람 간절합니다...
솔직히 좋은 분석글이 나와도 십분지일도 알아들을수가 없으니 ㅜㅠ
이런 역대급 대결을 바알못으로 본다는게 참 아쉽고 그나마 바둑을 아시는 분들이 부럽습니다

그나마 스타크래프트정도는 되어야 분석하고 비벼보기라도 할 수 있지않을까 싶네요
그런 대결이 펼쳐진다면 pgr이 정말 폭발하겠네요
16/03/13 23:59
수정 아이콘
에러가 아닐겁니다.
인간과 다르게 알파고는 중앙쪽에 계산이 끝났을겁니다.
인간이야 상대 실수를 유도하면서 계속 공세를 취하겠지만, 알파고는 상대가 최선의 수를 둔다고 가정한다고 했으니, 중앙을 계속 두는건 자멸이라 판단하고 중앙이 완성되어서 게임이 끝나기 전에 다른 수를 둔 것입니다.
아마추어 기보로 연습을 했으니 저런 요상한 꼼수로도 승리 확률을 봤을 수 있죠.
친절한 메딕씨
16/03/14 00:05
수정 아이콘
저도 같은 생각입니다.
에러는 있을수 없죠.
Legend0fProToss
16/03/14 01:33
수정 아이콘
알파고의 계산으로 중앙에서 이미 졌으면
거기다가 뭘 자꾸 두는게 손해일 수 있죠
오히려 측면에 둔 의미없는수들은
이상해 보이지만 사실 그닥
대세에 영향이 없으니
모든 자리 기대값이 50%밑이면
그나마 승률을 현상유지라도 할수있는 자리라서 선택되는게 아닐까요?
뽀로뽀로미
16/03/14 02:09
수정 아이콘
저도 그리 생각합니다.
알파고는 승률 10%미만으로 떨어지면 돌을 던진다고 했으니 두었던 모든 수는 최소한 승률 10% 이상일 겁니다.
그렇다면 프로기사들이 봤을 때 0%에 가까운 그런 수준 낮은 수를 왜 10%이상으로 판단하고 그 수를 두었냐하면,
피나님 말씀처럼 아마추어 기보나 인터넷바둑 대국 경험에서 그런 엉터리수들로 흔들어서 이긴 경험이 10%를 넘었기 때문이겠죠.

오늘도 막판에 알파고가 맹추격해서 긴장을 놓을 수 없었다던데 만약 이세돌 기사가 막판에 집중력 잃고 실수해서 졌으면
알파고는 이런 꼼수의 승률을 더 올려서 저장하겠죠. 그리고 다음 번 비슷한 상황이 발생하면 또 같은 수를 둘지 모르죠.
그러고보니 알파고의 단점은 악수를 두더라도 그 판에서 최종승리하면 악수의 승률경험치를 올려서 저장하는데 있지 않을까 싶기도 합니다.
왼오른
16/03/14 00:12
수정 아이콘
오늘 4국은 알파고가 집계산을 잘못 했다고 보여집니다. 구글 측에서도 알파고의 실수를 알려줘서 고맙다고 했죠.

좌하귀 끼운 수는 그렇게 밖에는 설명이 안되요. 인공지능과는 관계없이 계산상 오류 일 가능성에 한표 던집니다.
사악군
16/03/14 00:13
수정 아이콘
이기는 상황에서 이상한 수와 같은 것 같아요. 이래도 이기니 이렇게 둠 ㅡ 이렇게 안해도 지니 이렇게 둠 이란 상황자이만 있을뿐..
아니아니
16/03/14 00:26
수정 아이콘
버그도 에러도 아닌데 바둑을 그렇게 잘두면서 그런 문제점이 있는것도 웃기네요. 성공 가능성이 0프로일게 뻔한 손해보는 꼼수를 던지다니요.
16/03/14 00:31
수정 아이콘
사람이라면 똑같은 꼼수를 써도 최대한 안뻔해보이는 훼이크를 넣으려고 하겠지만,
안뻔하다 같은걸 구분하지는 않는 것 같네요. 어차피 승률은 비슷할테니까...
16/03/14 00:29
수정 아이콘
그냥 뭐랄까.. 바둑이라는 게임이 정말 복잡한 게임이다 라는 생각만 듭니다.
사실 알파고가 보통의 사람고수라면 두지 않을 수(보편적으로 절대적으로 보이는) 를 자주 두는것으로 보이는데,
이렇게 부족한게 많아 보이는 알파고가 세계 정상급 기사를 이긴다는 말은..
정말 바둑을 잘두는 사람이 있다면 도대체 얼마나 높은경지에 있다는걸까요.
공유는흥한다
16/03/14 01:52
수정 아이콘
예를 들면 5드론이나 4드론이나 급입니까??? 크크크...
16/03/14 03:46
수정 아이콘
그 동안 알파고의 완벽한 대처들을 살펴보면
행마(돌의 움직임 유형) 자체로만 보면 이는 그 동안 바둑기보에 많이 존재하던 자연스러운 유형이었습니다...
대신 그 자연스런 행마의 의미가 다른쪽과 연계라던가 바꿔치기등을 노린 독창적인 수였습니다..
자연스럽지 않은 행마가 요구되는 상황에서도 알파고는 자연스러운 행마지만 의미 차원으로 독창적으로 접근해서 완벽한 대처를 찾아냈다고 봐야합니다....
딥러닝만이 기보 학습에 동원되었다면 자연스런 유형의 행마가 주로 학습되었을꺼고... 이렇게 초기화가 되었다면 이후 RL 에서도 근본적으로 변화되긴 어려울껍니다..
그러다보니 자연스런 행마에서 착점 후보군들을 찾을꺼고.. 자연스럽지 않은 행마 유형은 노이즈 취급됐을 가능성이 큽니다..
이 경우 자연스러운 행마에서는 어떻게 의미를 찾아봐도 해답이 존재하지 않는 문제라면 알파고는 그 문제를 틀릴 가능성이 큽니다..
이게 문제가 맞다면 네이처에서 나온 논문의 방식으로는 해결이 쉽지 않습니다. 딥러닝의 근본적인 문제중의 하나이기 때문이죠..
다른 방식 또는 별도의 기계학습 모델을 혼용해야 되는데 혼용 취사선택이 어렵습니다...

반면 열세일때 황당한 수를 두는 부분은...
알파고가 70% 이상 이기는 확률을 리워드로 해서 학습시켰기 때문입니다..
상황 판단에 따라 유리 불리시 각각 2 개의 알파고를 만들어서 이를 엮어서 사용하면 됩니다..
이거 해결은 시간이 문제지 별로 어렵지 않을것으로 보입니다..
유유히
16/03/14 09:12
수정 아이콘
4국을 보면서 들었던 생각은.. 알파고는 지금 자기와 두고 있는 상대가 누구인지 모른다는 사실을 새삼 확인 한 거였습니다. 최초 프로그래밍 된 대로 판의 승률이 미세하다고 판단했을 때 승률을 높이기 위한 착점을 지속적으로 선택하는데, 이게 인간의 눈으로 봤을 때 지당한 한 수가 될 수도 있고, 일견 말도 안 되거나, 뻔히 보이는 (물론, 프로기사 레벨에서) 수일 수도 있습니다. 우리는 이미 익히 이런 상황을 나타내는 말을 알고 있습니다. 통하면 묘수요 안통하면 악수. 물론 알파고의 입장에서 묘수와 악수는 없을 겁니다. 인간의 눈에 대응책이 쉽게 보이면 알파고 입장에선 악수가 되고, 인간의 눈에 대응책이 쉽게 보이지 않거나 저의를 잘못 파악하여 (즉, 인간 프로기사가 두었다고 생각하고) 약간 비틀어 대응하면 알파고의 묘수가 될 것입니다. 당연히 알파고의 입장에서 둘 사이의 구분은 없습니다.

이번 4국에서 좌상에 가일수한 알파고의 161수를 두고 박정상 해설은 "만약 사람이 둔 수였다면 매우 무례한 수다"라고 평했습니다. 대놓고 실수해주기만 바라는 수였다면서요. 그럴 리야 없겠지만 (박정상 해설의 말에 의하면, "여기에 넘어갈 프로기사는 없다."고 하더군요.) 만약 이세돌 사범이 대응에 실수했다면 좌상이 알파고에 다 넘어갔을 것입니다. 하지만 이세돌 사범은 당연히 넘어가지 않았죠. 알파고의 입장에서야 지금까지 계속 수없이 두었을 뿐인, 상대가 대응 가능한 수많은 경우의 수 중 하나일 뿐인데, "상대는 프로기사니까 이정도야 당연히 보이겠지" 라고 판단하는 것은 불가능했을 것입니다.

상대의 기력을 판단하고 그 다음 수를 예측하는 능력. 이것이 인간만이 가진... 알파고에 대응하는 인간 최후의 무기라는 생각이 듭니다. 바로 이 지점을 이세돌 사범님이 깨달았다면.. 최소한 현 버전의 알파고를 상대로는 앞으로 연전연승 하실 수도 있겠다는 생각이 듭니다.
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회 추천
64100 [일반] [야구] kt 오정복. KBO로부터 15경기 출장정지/봉사활동 120시간 징계 [17] The xian4364 16/03/15 4364 0
64099 [일반] [배구] 삼성화재의 2015-16시즌 넋두리(스압). [48] 스파이어깨기5811 16/03/14 5811 4
64097 [일반] 긍정적으로 사고하기 [93] 삭제됨7786 16/03/14 7786 0
64096 [일반] 영국 대학 졸업장의 가치는 왜 하락할까? [26] santacroce13321 16/03/14 13321 13
64095 [일반] [프로듀스101] 우리도 해보자 1인1표 인기투표! [315] ZZeta12322 16/03/14 12322 7
64094 [일반] [프로듀스101] 2차 투표로 보는 4차 경연 팀 지표 (약스포) [27] Leeka6621 16/03/14 6621 0
64093 [일반] '귀향'을 본 소감 (스포 有) [6] 블루투스4882 16/03/14 4882 5
64092 [일반] 레드 벨벳의 멤버별 티저 이미지가 모두 공개되었습니다. [18] 효연덕후세우실7765 16/03/14 7765 6
64091 [일반] [야구] 올해도 작년과 동일한 5개 방송국이 중계를 합니다. [43] 어리버리8184 16/03/14 8184 0
64089 [일반] 수비바둑 [16] 이치죠 호타루11238 16/03/14 11238 22
64088 [일반] 논문... 막막하네요(+자랑글 오해 주의+우는 소리 주의) [31] 착한아이8105 16/03/14 8105 3
64087 [일반] 출사 : 삼국지 촉서 제갈량전 19 (4. 쫓는 자와 쫓기는 자) [27] 글곰5026 16/03/14 5026 54
64086 [일반] 기 관람자들을 위한 삐딱한 주토피아 감상 [19] 마나통이밴댕이5385 16/03/14 5385 3
64085 [일반] <단편?> 카페, 그녀 -39 (부제 : 연애하고 싶으시죠?) [20] aura4187 16/03/14 4187 5
64084 [일반] 선배와 나 [5] schatten4823 16/03/13 4823 3
64083 [일반] [프로듀스101] 등급 별 생존 현황 및 순위 [27] Leeka7436 16/03/13 7436 0
64082 [일반] 알파고의 약점이라기 보단 대응법을 찾은게 아닐까 생각해보며... [32] 친절한 메딕씨11032 16/03/13 11032 1
64081 [일반] AI에 문외한이지만 구글의 AI의 문제점은 이런게 아닐까요? [31] ArcanumToss9252 16/03/13 9252 0
64080 [일반] 실종자를 찾습니다(분당 구미동) [44] 삭제됨11307 16/03/13 11307 10
64079 [일반] 이세돌 기사가 알파고의 약점을 찾았을지... [26] jjune10009 16/03/13 10009 2
64078 [일반] 연애를 포기하게 된 원인 [278] 삭제됨13856 16/03/13 13856 1
64077 [일반] 누가 미국의 기술 혁신을 주도하는가? 2 [7] santacroce4823 16/03/13 4823 17
64076 [일반] 누가 미국의 기술 혁신을 주도하는가? 1 [9] santacroce7515 16/03/13 7515 17
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로