|
:: 게시판
:: 이전 게시판
|
- 모두가 건전하게 즐길 수 있는 유머글을 올려주세요.
- 유게에서는 정치/종교 관련 등 논란성 글 및 개인 비방은 금지되어 있습니다.
통합규정 1.3 이용안내 인용"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
23/04/06 14:26
코인 채굴하고 비슷한 느낌인가 보네요. 초반에는 그래픽 카드가 주도했는데, 시간이 지나면 몇몇 예외를 제외하고는 특화머신이 대세가 되는 듯?
23/04/06 14:29
본문에 언급한 저의 이전 글에 정리되어있지만
그분 말로는 GPT의 등장으로 AI연산을 어느쪽에 집중시켜야하는지 매우 뚜렷하게 윤곽이 드러나버려서 더이상 애매하게 범용성챙기다가 특화에 의한 효율성을 놓칠 일이 없어진게 판도를 바꾸고 있다고합니다.
23/04/06 14:30
https://n.news.naver.com/mnews/article/277/0005240600?sid=105
['한국의 엔비디아' 리벨리온, AI반도체 '아톰' 앞세워 도약] 2023.04.04 리벨리온은 미국 매사추세츠공대(MIT) 박사 출신에 인텔, 삼성전자, 스페이스X 등을 거친 박성현 최고경영자(CEO)가 2020년 설립한 AI 반도체 스타트업이다. 창업 1년 만인 2021년 TSMC 7나노를 적용한 금융 거래 특화 NPU '아이온(ION)'을 출시해 주목받기 시작했다. 업계 선두 주자인 인텔의 '고야'보다 처리 속도는 빠르고 전력 소비 효율은 높다. 미국 월스트리트 주요 금융사를 고객으로 확보했다.
23/04/06 14:42
엔비디아 GPU를 쓸 수 밖에 없는 것이 AI, ML에서 거의 기본으로 쓰이는 CUDA library 때문인데, 최근 여기서 벗어나려는 움직임이 많다고 들었습니다.
CUDA를 안쓰게되면 다른 업체들에게도 기회가 생기게될 거 같네요.
23/04/06 14:44
대표님 말로는 아이러니? 하게도
개발자 주도의 기업일수록 원래 자기들 습관때문에 잘 안바꾸고 경영진 주도의 기업일수록 비용감소하는게 눈에 확 들어오니까 어떻게든 바꾸려고 한다고 하더라고요
23/04/06 15:52
대표가 경영병에 걸린것같은 느낌이 좀...
개발자들이 안바꾸는건 습관도 있겠지만, 안정성의 문제도 있어요. 바꿔서 누가봐도 좋으면 다 바꾸죠 흐흐...
23/04/06 14:49
제가 반도체 쪽은 뉴스 정도로만 알지만 이게 말이 되나 싶습니다
반도체 라는게 최첨단 기술 집약적 산업 아니었나요? 미국도 인텔 키워서 반도체 패권 및 굴기를 하려고 천문학적인 돈과 욕 먹는거 감수하면서 행동하고 있는데요? 그런데 저런 스타트업이 뚝딱하고 나타날수가 있는 건가요?!?
23/04/06 14:51
설계부분은 스타트업이 많이 나오는 걸로 알고 있습니다.
미국도 그쪽은 이미 세계 탑이고요. 다만, 문제가 동아시아지역에 몰려있는 생산이라...
23/04/06 15:18
생산 외주화가 활발한 업계긴 한데, 첨단반도체 공급은 TSMC를 뚫어야하고 우수고객인 엔디비아의 견제를 뚫을 수 있을지 궁금하네요.
23/04/06 14:56
저 회사가 이 분야에서 잘 나갈지는 모르겠지만, 업계가 엔비디아 칩을 대체하는 방향으로 나갈 거라는건 분명해보입니다. 아마존 MS 구글의 클라우드 3사는 특히 더 절실하니 적극적으로 나서겠고, 대체할 방향이 명확해졌다는게 중요하죠.
23/04/06 15:00
(수정됨) 잘은 모르겠지만 인퍼런스용 칩 느낌인데 그렇다면 어차피 학습에는 기존과 마찬가지로 nvidia의 GPU를 사용할 수 밖에 없을 것 같네요.
추가) 검색해보니 같은 사이트에서 "MLPerf 벤치마킹 테스트에서는 AI반도체가 정확한 결과값을 얼마나 빠르게 출력해 내는지를 평가한다."라고 되어 있으니 인퍼런스 벤치마크인 듯 하고 그렇다면 학습에서 가지는 nvidia의 위상은 별로 상관없을 것 같습니다.
23/04/06 15:08
(수정됨) LLM이 비용문제로 크게 대두되는건 학습비용도 학습비용이지만 인퍼런스비용조차도 엄청나기때문이지 않나요?
챗GPT나 여러가지 사업모델들로 24시간 전세계에서 적극 활용되면서 앞으로는 학습보다는 추론비용이 훨씬 많이 나가지 않을까 싶어요. 그래서 추론쪽으로 타겟을 잡은듯하고요. 거기다가 요즘엔 LLM학습데이터를 GPT한테 물어봐서 얻어낸뒤 학습하면 훨씬 가벼운모델로도 상당한 성능을 뽑아낸다고 하더라고요 어떤면으로나 GPT계열쪽 추론비용이 기하급수적으로 폭발해나가고있고 앞으로도 그러할것이라는건 자명해보이긴합니다. 리벨리온도 되는데 다른 최선두그룹의 설계 스타트업들이 학습에서 엔비디아를 위협할 설계를 못내놓을지도 의문이긴합니다.
23/04/06 15:18
(수정됨) 어.... 음.... 그쪽 경량화라는게 하이에나같은 알고리즘상의 최적화를 말하는건가요?
그런거면 하드웨어랑 상관없지않나요?(솔직히 잘모름) 어짜피 비용절감효율은 같은데? 그리고 더욱 특화되서 줄어들 예정인데?(솔직히 잘모름) 굳이 더 비싼거 쓸 이유가 있을까요?(솔직히 잘모름) 덧붙이자면 대중이 사용가능한 범용AI서비스 자체가 엄청난 혁신이라서 수요에 비해 공급량이 한없이 부족한 상황이라고봐서요 경량화되면 될수록 시장의 파이만 커지지않을까 ... 싶은데
23/04/06 17:00
현재 그림그리는 AI도 원활하게 돌릴려면 고성능의 그래픽카드가 달린 컴퓨터가 필요하고 최신 채팅AI같은 경우는 수백기가의 메모리가 필요해서 일반 가정용 컴퓨터에서는 돌리기가 쉽지 않은걸로 알고있습니다. 보안도 그렇고 일상생활에서 AI를 원활하게 사용하려면 적어도 핸드폰같은곳에서도 돌아가게끔 해야되겠죠. 그래서 같은 알고리즘의 AI라도 더 가벼운 환경에서 구동이 가능하도록 하는 고민을 많이 하고있는것으로 알고 있습니다.
23/04/06 15:15
뭐...... 검증되기 전에는 초고압 상온 초전도체도 주장하는 마당인데 기존 업체 뛰어넘었다는 주장 정도는 나올 수도 있겠죠
중요한건 맞춤형 성능 테스트 프로그램 말고 상용으로도 얼마나 잘 굴러가는지 입증할 수 있는지가 문제지
23/04/06 15:37
이 분야는 문외한이라 전혀 무슨 얘긴지 모르겠지만 지난번 리튬전지 관련 삼프로 들어보니 그냥 헛소리 대잔치더군요....
내가 모르는 분야도 이렇지도 모르겠다라는 생각이 들었습니다. 역시 유투브에 큰 기대를 하면 안되는거 같아요.
23/04/07 03:12
저도 지구본 연구소 참 좋아하지만 정보의 신뢰성 때문에 본다기 보다는 그냥 재미로 봅니다. 굉장히 넓은 면을 커버하다보니 정보의 질이 떨어지는 경우가 많더라구요.
23/04/06 15:29
학습 쪽은 아직 큰 산들이 많이 남아있지만,
추론 쪽은 명확하게 (PyTorch, TF 산출물로부터) conversion 방법만 제시된다면, 못 쓸 이유가 없습니다.
23/04/06 15:36
국내회사중엔 여기랑 사페온, 퓨리오사에이아이 등이 비슷한 류의 AI반도체 칩 양산을 준비하고 있습니다. 이 회사들에게는 엔비디아가 대척점에 있는 목표일수밖에 없는게 엔비디아가 이 시장을 사실상 독점하고 있기 때문이죠. 시장이 커지는만큼 엔비디아가 다 해먹을 순 없을 것 같아서 기회는 생길 것으로 보고 있습니다.
23/04/06 15:58
상장회사도 아니고, 당장 상장계획이 있는것도 아니고, 창업한지 3년도 안된 스타트업이라 딱히 불안할것도 없습니다...?
엔비디아 주가 이야기라면 꼬레아의 스타트업이랑 주가가 관계있을리가...
23/04/06 17:50
꽤 자주 쓰이는 수법이 있는데, 비상장 기술기업과 코스닥 상장사를 연계해놓고 털어먹는 수법이 있습니다.
주식 아시는 분들은 대부분 ‘루보’라는 회사를 아실탠데, 이 회사가 망한 이유는 루보 사태 때문도 아니고 저 방법에 털려서 망했죠.
23/04/06 15:44
삼프로 영상을 좋아하지는 않는데 저 분 나온 영상은 괜찮았습니다. 인터뷰 나와서 훈련은 몰라도 추론은 니치 마켓이 많아서 스타트업이 할만하다고도 언급하셨구요. 리벨리온 / 퓨리오사 정도 되면 국내에서 몇 안되는 기술기반 스타트업이라고 할 수 있겠습니다.
23/04/06 16:25
(수정됨) 댓글 분위기 참 이상하네요...?
아웃퍼폼 나온거 거의 없이 언론사 통해서 야부리 턴 것만 한가득인 회사, 그 것도 3년 된 스타트업이 시총 몇 백조에 수 년을 기술 독점한 기업을 기술력으로 넘어선다? 테슬라도 거품덩어리라고 쥐잡듯이 잡는 피지알의 댓글 분위기가 3년된 비상장 스타트업 찬양은 칭찬일색이네요. 한국인이면 제발 한국 기업 응원합시다 이런건가...? 안사요 안사.
23/04/06 17:49
(수정됨) AI는 잘 모르고 반도체 제조 쪽인데, 웨이퍼 몇 장 찍어내고 BOB 샘플 중에 BOB TEST 결과 가져다가 타사 양산품이랑 비교한다음에 "우리 제품이 이 정도 퍼포먼스 나옵니다, 인텔-AMD-엔비디아 게섯거라!" 하는 기업, "저희가 엔비디아보다 30% 좋은 GPU 만들었으니 안심하고 투자하십쇼!" 하는 식의 비슷한 소리 기업들 솔직히 한 트럭 봤습니다.
저 회사가 그네들과 뭐가 그리 다른건지 본문만 봐서는 전혀 모르겠네요. 까놓고 저는 제 반도체 지식보다는 제 주식 경험이 더 먼저 생각납니다. 저렇게 사발 풀고 투자금 끌어모은 다음 "헤헤 안되네" 하는 회사 정말 숱하게 봤거든요.
23/04/06 18:00
저도 투자쪽으로는 더 유심히 봐야된다고 보긴 합니다. 친구중에 그쪽으로 도전하는 사람들이 국내에 있긴 해서 기다려보고 있습니다. 그 회사는 이 글 댓글들에도 언급이 있는 다른 회사구요.
23/04/06 17:40
타 커뮤에서 리벨리온 얘기 나온 글 봤는데 댓글엔 한국에서 관련 업계인중에 리벨리온 하면 아는 사람이 거의 없는 듣보잡이라고 혹시나 투자관련 생각 있으면 무조건 거르라고 하더군요
23/04/06 17:53
위에도 써놨지만... 쟤네가 제2의 라이젠 신화를 써낼거란 기대보다는, 수 백 수 천의 스타트업 투자금 유치 목적 홍보일거란 의심 밖에 안드네요.
뭐 본문과 댓글 분위기가 맞다면야 제가 몇 년 뒤에 땅치고 후회하고 있겠지만요.
23/04/06 18:37
흠 바이럴같아보였으려나요
걍 알고리즘영상보다가 GPT가 엔비디아 무너뜨린다는 강력한 썸네일 어그로에 끌려서 영상을 쭉 보는데 일리있는 얘기라고 생각해서 올려봤습니다.
23/04/06 18:44
제가 좀 삐딱하게 보고 있는 거기는 합니다 크크크크크
제 이전 직장이 배터리, 제 현 직장이 반도체다보니 더더욱 체감이 됩니다. 진짜 경기가 좋았다가 물살이 급하게 빠져서 요즘 스캠 이슈가 정말 많죠. 당장 배터리쪽은 최근에 인동첨단소재라고 핫한게 대폭발했거든요. 그렇다보니 좀 날이 서있긴 하네요. 좋은 의미로 쓰셨다면 죄송합니다.
23/04/06 18:52
뭐 일단 반론댓글들 쭉 보면서 몇개는 좀 반도체쪽 잘몰라도 반박할수있겠는데
어떤것들은 '생각해보니 그렇네?' 싶은것들도 있어서 좀더 신중했어야했나 싶네요. 뭐 이런것들이 다 경험치로 쌓여서 반도체나 모르는 테크분야 어그로를 좀더 분별할수있는거겠죠 쩝
23/04/06 19:16
제 2의 바이오인 걸까요. 크크
물론 어느정도 성과내는 회사들도 있지만 그냥 투자금 받아서 자기들 배불리는데만 쓰던 그 바이오 벤처 회사들이 떠오르네요
23/04/06 20:11
아닙니다. 어제 올라왔던 영상 게시물의 연장인데, 학습이 끝난 모델을 실제 운용할 때(inference), 해당 모델의 알고리즘에 최적화된 하드웨어를 사용함으로써 도입비용(n당 미친 가격이니)과 전성비(범용성이 높으면 전성비가 내려감)를 잡겠다는 겁니다. 최적화된다면 실제 처리 속도도 큰 폭으로 빨라집니다. 실제로 gpt-4가 한달에 20달러를 내고도 3시간당 25번의 질의밖에 던지질 못하며 속도도 여전히 답답할 정도로 느립니다. 부하가 엄청나다는 소리죠. 이 회사는 이쪽 시장을 잡겠다는 주장입니다.
당연히 거금을 퍼부을 수 있는 대기업을 대상으로 하는 비즈니스입니다. 영상에서도 클라우드 ai가 될 수 밖에 없다고 말하고 있죠. 당연히 개인용 컴퓨터에는 쓸 수 없습니다.
23/04/06 21:12
기업들에서 인퍼런스 최적화 시키려면 이미 NVIDIA 비싼 GPU안쓰고도 ASIC이나 FPGA에 올려서 할수 있습니다. 학습될 모델을 최적화 시키는 방법은 이미 많아요.
|
||||||||||||