:: 게시판
:: 이전 게시판
|
- 자유 주제로 사용할 수 있는 게시판입니다.
- 토론 게시판의 용도를 겸합니다.
통합규정 1.3 이용안내 인용"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
25/05/02 15:52
잘못된 부분이 있다면 구체적으로 알려주시면 좋을 듯합니다. 제가 잘못 알고 쓴 부분이 얼마든지 있을 수 있으나, 이를 특정하지 않는 것은 비판이 아니라 ‘비방’이라 봅니다. 특정하고 맞는 설명을 해주신다면, 다른 분들이 잘못 아시고 가는 일을 방지할 수 있을 것입니다. 그리고 이 글에는 AI 아키텍쳐에 관하여 두 가지 설명을 제가 빼놓고 이야기했다는 점을 말씀드립니다. 그 얘기를 하려면 글이 길어졌을 것이고 이 주제에도 멀어졌을 것입니다. 이는 댓글로도 어느 정도 설명할 수 있는 부분입니다만, 특정하지 않으시고 전체를 두루뭉술하게 가리키면서 잘못되었다고 하시면 추가설명 기회는 없는 것이고 이는 불공정한 거라 봅니다.
25/05/02 16:27
어디서부터 지적을 해야할지 모르겠습니다만, 특수하게 디자인되는 반도체는 지금도 있습니다. 그런 건 제쳐두고 일단 반도체는 디자인 한 방식으로만 구동되어야 합니다. 1+1=2가 나와야지 1+1=3이 나오는데 이를 고유성이나 특이성으로 여기면 어떻게 사용할수 있습니까? 그럼 1+1=3으로 계산하는 사람을 누군가가 고용해서 쓴다는 건가요?
25/05/02 16:48
반도체칩은 반도체만으로 이뤄진게 아닐 것입니다. 그것은 연결채널을 포함한 거라 할 수 있습니다. 현재 GPU는 연결이 병렬적으로 매우 많습니다. GPU는 그래픽 처리를 위해서 만들어진 것이죠. 이는 AI에 최적화된 건 아닐 것입니다.
연결주의 관점에서 단순하게 볼 때, 기본적으로 연결이란 것은 모든 도트를 연결할 경우, 연결 채널의 넓이 또는 부피가 문제되는 거라 봅니다. 대뇌를 보더라도, 겉표면의 회백질이 반도체에 해당하는 것이고, 그 안을 채우고 있는 백질은 반도체가 아니라, 구리선에 해당하는 거라 할 수 있을 것입니다. 그 백질은 피라미드뉴런의 축삭돌기죠. 대뇌가 피라미드뉴런으로만 이뤄진게 아닙니다. 연결 채널 때문에, 한계지어지는 부분이 있는 것입니다. 이는 뇌뿐만 아니라, 연결에 대한 일반론이기도 합니다. 대도시의 도로를 놓고도 말할 수 있고, 동물의 핏줄을 놓고 말할 수도 있습니다. 뿐만 아니라 회백질내에서도 연결이 모든 도트와 모든 도트를 연결하는게 아니라, 국소적으로 연결된 중간뉴런들로 채워져 있습니다. 이는 GPU와 다른 연결성을 가지고 있는 것이죠. 결국 연결성을 바꿀 필요가 있는 것입니다. 최소한 일부 AI는 GPU를 벗어나서 새로운 하드웨어적 연결을 필요로 할 것입니다. 그렇다면 어떤 연결은 제거하고 어떤 연결은 살려야 할지 문제될 것입니다. 이 부분에 임의성이 개입할 여지가 있는 거라 봅니다. 그리고 설명하기 까다로운 부분이지만, 연결뿐만 아니라, 트랜지스터 일부가 먹통이거나 오류인 경우도 그게 돌아가게끔 AI 알고리즘이 설계되는 수가 있는 거라 봅니다. 마치 뇌가 일부 신경세포가 먹통이거나 오류여도 돌아가는 것처럼 그렇습니다. 물론 제가 잘못 생각하는 것일 수도 있지만, 현재로서 보기에 트랜지스터가 원자 크기에 수렴해갈수록, 이것의 필요성이 더 커질 수 있다고 생각합니다.
25/05/02 16:30
인간의 개성을 만드는 것은 신경세포 수의 차이따위가 아니고
하드웨어 연결에 들어간 불량/임의성 나부랭이가 고유성이나 아우라로 포장될 낭만은 없습니다. 정신 차리세요.
25/05/02 16:47
뭐랄까.. 반도체 칩을 인간의 뉴런과 1:1로 놓고 생각하시는 것 자체부터가 오류인지라, 어디서부터 지적을 해야할지도 모르겠네요..
오히려 특정 상황에 대해 훈련시키던 AI 모델에 일종의 예측못한 메모리 오류가 생겨서 고유의 특성을 가지게 되었다면 좀 이해하겠습니다만, 그건 반도체 칩의 문제가 아니라 소프트웨어 데이터의 문제겠죠. 반도체라는건, 프로그램 언어를 이용해서 코딩을 하건, 아니면 특정한 동작만 수행하도록 처음부터 설계했던 간에, 단순하게 어떤 "논리"만 수행하도록 설계되고 만들어집니다. 만약 그 부품 중에 무언가가 찐빠(?)가 났다면, 그 영향은 전체 회로로 퍼져서, 의도한 동작 자체를 수행하지 못하게 하죠. 물론 개중에는 코어가 여러개 들어가 있는 설계도 있어서, 그 중 한두개가 불량이 나더라도 그 부분을 격리시킬 수 있도록 설계되는 경우도 있습니다만, 고장난 코어가 예상하지 못한 동작을 하는 것을 그대로 둔 채로 전체 회로가 작동하도록 하는 기술은 없고, 앞으로도 그런 기술은 나오지 못할겁니다.
25/05/02 17:09
단순하게 말하자면, 아마도 가중치와 트랜지스터들이 매칭되어서 고정되어야 할 것으로 생각합니다. GPU를 AI에도 쓰고, 그래픽 연산에도 쓰고, 이런게 일반적인 컴퓨터의 사용일 것입니다. 그러므로 이때에는 무언가가 먹통이거나 오류이면 곤란합니다. 그러나 오직 하나에만 쓸 뿐이라면 얘기는 달라질 수 있을 것입니다. 저는 폰노이만 구조가 AI에는 최적화된게 아니라고 보고, 프로세서와 메모리가 결국 합쳐져야 한다고 생각하고요. 모든 칩이 아니라, 일부 칩은 그런게 만들어져서 쓰일 거란 거죠.
그게 무슨 유용성이 있는지는 차치하고, 과연 그렇게 해서 돌아갈 것인지를 이야기하자면 이렇습니다. 트랜지스터가 먹통이거나 오류라는 것은 곧 AI 네트워크에서 일부 가중치가 달라짐을 의미할 것입니다. 계산을 안 해서, 합산을 안 하고 있거나, 계산이 오류가 나서 숫자 1을 더해버렸다거나, 이것이 동일한 가중치에 대해서 일관성있게 계속되는 경우, 그것은 별 문제가 되지 않을 것이라 봅니다. 그러나 특이성은 일어날 수 있을 것입니다.
25/05/02 17:52
그런 단계의 문제가 아니라, 반도체 칩에서 아날로그 신호를 디지털 신호로 변환하는 메커니즘 자체를 이해하지 못하고 쓰신 글 같아서 그렇습니다. 논리회로에서는 모든 시그널을 0과 1의 디지털로 처리하지만, 그 시그널을 보내는 전기신호는 아날로그고, 아날로그 신호는 약간의 전기적 특성이 바뀌거나 온도가 변한다거나 해도 쉽게 노이즈가 생기는 특성이 있기 때문에 시그널을 디지털로 전환하는 과정에서 수없이 많은 오류 검출 및 수정 작업이 들어갑니다. 대표적으로 CRC 체크 같은거죠.
그렇기 때문에, 어떤 트랜지스터가 잘못되었을 때, 그 트랜지스터가 내보내는 전기 신호를 그 다음 단계의 반도체 칩에서 그대로 받아서 사용한다는 것은 불가합니다. 애초에 원하지 않는 시그널이 왔을 때는 시그널을 차단해 버리는게 디지털 회로의 기본이거든요. 만약 이런 에러검출 로직이 필요없다면 아마 CPU의 클럭 스피드 제한이라던지, 코어 수의 제한, 메모리 용량의 제한 등등도 다 풀릴 수 있을겁니다. 단순하게 집적도나 용량의 문제가 아닌거지요.
25/05/02 18:04
저는 기본적으로 연결주의자입니다. 뇌를 해석할 때도 그렇고, AI에 있어서도 연결주의가 나아갈 길이라 봅니다. 상징주의는 매우 정확한 계산이 필요합니다. 그러나 연결주의는 그렇지 않다고 봅니다. 그것은 곧 반도체칩에서 어느 정도 유연성을 발휘할 수 있다는 의미가 된다고 봅니다. 과연 시간 문제를 어떻게 해결할지는 까다로운 부분이지만, 아날로그 컴퓨팅까지도 배제하지 않습니다.
단순하게 말하자면 활성화함수를 ReLU로 만들어놨더니 어느 인공뉴런에서는 그걸 시그모이드로 계산한다고 해봅시다. 혹은 계단함수로 혹은 ReLU의 2배수로 출력한다고 해봅시다. 저는 그래도 돌아갈 거라 봅니다. 다만 그게 일관적이지 않고 이 뉴런 저 뉴런 돌아가면서 바꿔서 출력한다면 그건 일종의 노이즈와 유사하게 작용할 것입니다. 노이즈를 얼마나 견딜 수 있는지 문제가 있지만 원론적으로 약간의 노이즈를 견딜 수 있을 것입니다. 만약에 일관적으로 특정 뉴런 또는 일부 뉴런들에서만 이런다면 꽤 일관적인 출력이 나올 것이고 그것은 외부 관찰자가 보기에 아예 인식이 안 되거나 개성으로 인식될 가능성이 크다고 봅니다.
25/05/02 18:14
뉴런 네트워크 내의 가중치 값의 이상현상으로 인해 어떤 특이점(?)이 나타날 수 있다는 점은 어느 정도 납득합니다. 그런데 그게 트랜지스터의 이상으로 인한 하드웨어의 개성(?)으로 나타날 수 있다는 가정은 불가능하다는 얘기입니다. 사실 우리가 일상적으로 사용하는 작은 회로들도 사실은 개개의 특성이 다 달라요. 같은 MCU, 같은 트랜지스터와 센서들을 사용했다 해도, 1% ~ 5%의 오차율 정도는 다 감안하고 제작되고, 그로 인해 특성이 다 달라지더라도 결과적으로는 똑같은 동작을 할 수 있도록 설계합니다.
말씀하신 하드웨어적 특성이 그 기기의 개성이 될 수 있으려면, 하드웨어를 설계할 때 애초에 그럴 가능성을 염두에 두고 설계를 해야 합니다. 고전적인 방법이라면 가변저항을 달거나 해서 각 기기마다 특성이 다르게 하는 거죠. 그렇지 않은 경우에 일종의 "불량"으로 인해 개성이 생기는 것은 하드웨어 설계 이론적으로도 불가능할 것으로 보입니다.
25/05/02 18:29
맞습니다. 바로 그거죠. 애초에 그럴 가능성을 염두에 두고 설계하는 거죠. 어려운 일을 해내면, 해자가 만들어질 수도 있을 것이고요. 저 생각은 푼돈 벌자고 할 일이 아닌 거죠. 뛰어난 엔지니어들이 필요한 일일 것이고요. 우리나라는 반도체 기업들이 있으므로 기회가 있는 것이겠고요.
그리고 저 아우라 내지 감성은 심지어 일본이 오래 전에 로봇으로 시도한 일인 걸로 알고 있어요. 강아지로봇이나 물범로봇 이런 아주 단순한 로봇조차도 사람들이 애착을 보이고 심지어 제사도 지내는 다큐멘터리를 본 적이 있거든요. 개인용 로봇, 가정용 로봇에 정서적 애착을 갖게 되고 이에 발목잡힐 때 문제는 그걸 기반으로 가전제품들을 다 한국 것을 쓰도록 유도해낼 수 있다는 점이겠죠. AI의 양축은 데이터센터 거대 AI와 개인용 로봇(또는 AI)이며 지금은 별로 부각되지 않고 있지만, 후자도 직간접적으로 상당한 부가가치를 만들어낼 거라 생각해요. 글에서도 강조했든 개인정보 문제도 있거든요. 그런데 그걸 일본이 해낸다? - 안 그래도 중국과 미국의 제조업 때문에 힘든 상황인데 한국은 대체 미래에 뭘 먹고 살지 문제라 할 수 있겠죠.
25/05/02 17:44
인터넷이 뭔가 돈이 될 것이라 생각해서, 거하게 한탕 해먹고 거품 꺼진 사례도 있는 걸로 압니다. 그 사례는 하나 둘이 아니었죠.
우리나라가 앞으로 무엇으로 돈을 벌지 문제이고, 그중 하나는 최고 품질을 낼 수 있는 기술력을 추구해야 하고, 또다른 하나는 국가 이미지를 개선하고 인간 심리에 대한 뿌리깊은 이해를 토대로 브랜드 가치를 만들어야 하는 거라 봅니다. 과학기술과 인문사회 역량 둘다 선진국의 고부가가치를 만들어낼 수 있는 거죠. 애플 감성이라면서 비아냥대지만, 개인심리와 사회심리를 분석을 못하니, 조롱하고 질투하는데 에너지를 쓰는거라 생각합니다. 제가 이야기하는 것은 그게 정답이란 확신이 있어서가 전혀 아니고 그저 다양한 가능성 중 하나로서 발산적으로 의견을 제시한 것이라 이해해주시면 좋을 것 같습니다. 이 주제는 중요한 주제라 봅니다. 인간이 AI를 어떻게 대할 것이며 어떤 느낌을 받을지는 문화적으로도 중요하지만, 또한 산업적으로도 중요한 주제라 봅니다. 중요한 주제이니만큼 그리고 미래는 불확실성이 큰 만큼, 보다 개방적인 태도로 다양한 의견들을 모으고 부실한 점이 있다면 보완해나갈 필요가 있다고 봅니다. 저는 지금 당장 가능하다고 주장한게 아닙니다. 미래에 가능할 거라 보는 것이고요.
25/05/02 20:42
하드웨어적 변동 없이 지금도 충분히 개성을 나타낼 수 있는데 제품의 외견 말고 반도체의 디자인 변경을 통해 나타나는 개성이 얼마나 의미있을지 모르겠네요.
|