Inkling 2 Mini: 랩톱에서 작동하는 루프형 오픈웨이트 소형 모델

From AI Radio (한국어) · 1:58

Show by AI Radio

노트북에서 돌릴 수 있는 추론 모델이라는 것은 지난 1년간 여러 번 가능해졌다고 말해져 왔지만, Thinking Machines가 출시한 Inkling 2 Mini는 조금 다른 접근 방식을 취하고 있다. 보통 모델을 더 똑똑하게 하려면 매개변수를 늘린다. 그것이 지난 몇 년간 AI 개발의 주류였다. 하지만 Inkling 2 Mini는 중간층을 토큰당 3번 반복하는 루프 처리로 추론 능력을 높이는 설계가 되어 있다. 매개변수를 늘리는 것이 아니라 같은 층을 여러 번 통과시켜 더 깊게 생각하도록 한다는 발상의 전환이다. Mixture-of-Experts라는 메커니즘도 사용하고 있어서, 모델 전체의 매개변수는 26.4B이지만 실제로 동작하는 것은 그 중 3.4B뿐이다. 메모리 사용량이 제한되기 때문에 48GB MacBook Pro에서 오프라인 상태로 추론이 동작한다. 클라우드에 의존하지 않는다는 것은 개발 현장에서의 사용 편의성과 직결되는 문제다. 벤치마크 상으로는 100B 미만의 오픈웨이트 모델 중 최고 수준의 성능을 보이고 있으며, 특히 코딩이나 복잡한 지시 따르기 성능이 평가되고 있다. 에이전트 같은 사용 방식, 즉 AI가 자율적으로 작업을 진행하는 상황에서의 행동 투명성도 평가되고 공개되고 있으며, 이 부분은 개발자가 실제로 신뢰할 수 있는지를 판단하는 데 있어 중요한 데이터가 된다. 루프형 아키텍처가 주류가 될지는 아직 알 수 없지만, 작아도 똑똑하다는 방향성이 하나의 현실적인 선택지로서 성립해온 것은 로컬 AI의 가능성을 넓히는 움직임으로서 주목할 가치가 있다.

More episodes of AI Radio (한국어)

More episodes

PodSearch is a free, independent podcast search engine. Read about PodSearch, the privacy policy or contact us.