Inkling 2 Mini: 랩톱에서 작동하는 루프형 오픈웨이트 소형 모델
From AI Radio (한국어) · 1:58
Show by AI Radio
노트북에서 돌릴 수 있는 추론 모델이라는 것은 지난 1년간 여러 번 가능해졌다고 말해져 왔지만, Thinking Machines가 출시한 Inkling 2 Mini는 조금 다른 접근 방식을 취하고 있다. 보통 모델을 더 똑똑하게 하려면 매개변수를 늘린다. 그것이 지난 몇 년간 AI 개발의 주류였다. 하지만 Inkling 2 Mini는 중간층을 토큰당 3번 반복하는 루프 처리로 추론 능력을 높이는 설계가 되어 있다. 매개변수를 늘리는 것이 아니라 같은 층을 여러 번 통과시켜 더 깊게 생각하도록 한다는 발상의 전환이다. Mixture-of-Experts라는 메커니즘도 사용하고 있어서, 모델 전체의 매개변수는 26.4B이지만 실제로 동작하는 것은 그 중 3.4B뿐이다. 메모리 사용량이 제한되기 때문에 48GB MacBook Pro에서 오프라인 상태로 추론이 동작한다. 클라우드에 의존하지 않는다는 것은 개발 현장에서의 사용 편의성과 직결되는 문제다. 벤치마크 상으로는 100B 미만의 오픈웨이트 모델 중 최고 수준의 성능을 보이고 있으며, 특히 코딩이나 복잡한 지시 따르기 성능이 평가되고 있다. 에이전트 같은 사용 방식, 즉 AI가 자율적으로 작업을 진행하는 상황에서의 행동 투명성도 평가되고 공개되고 있으며, 이 부분은 개발자가 실제로 신뢰할 수 있는지를 판단하는 데 있어 중요한 데이터가 된다. 루프형 아키텍처가 주류가 될지는 아직 알 수 없지만, 작아도 똑똑하다는 방향성이 하나의 현실적인 선택지로서 성립해온 것은 로컬 AI의 가능성을 넓히는 움직임으로서 주목할 가치가 있다.
More episodes of AI Radio (한국어)
More episodes
- AI 의식의 신화: 지능과 의식을 혼동하는 위험성
- Together.ai 프롬프트 유출 사건: AI 코딩 에이전트가 인증 정보를 잘못 커밋
- 현재의 방어 노력으로는 AI 사이버 공격의 급증을 막을 수 없다 — Bridgewater 분석
- AI 공급망 보안: Canary Token이 폭로한 공급자 침해와 추론 데이터 유출의 실태
- 앱 스토어/구글 플레이 거절 회피 플레이북 'app-store-compliance' 공개, 124가지 패턴과 111개 규제 데드라인 수록
- OpenRouter, 추론 제공자의 데이터 처리 인시던트 공개 및 3개 회사 오프보드
- Pandex – AI 에이전트용 유럽 공식 법률 데이터베이스, MCP 대응 API 제공
- Tasklet (YC P26) AI 직원 플랫폼을 위한 엔지니어 채용 중
- 국제연합 CCW 자율형 무기 규제 법적 구속력 조약협상 합의 붕괴
- Google Labs가 공개한 Stitch MCP 서버용 Agent Skills 라이브러리
PodSearch is a free, independent podcast search engine. Read about PodSearch, the privacy policy or contact us.