16GB 맥북·PC에서 3.67GB로 끝내는 혁신적인 탄력적 루프 추론 완벽 정리
엔비디아 도리 1.0 4B 모델 분석 및 핵심 요약
📌 로컬 컴퓨터에서 고성능 코딩 인공지능을 구동하기 위해 수백만 원짜리 GPU나 대용량 VRAM 장비를 고민하셨던 분들에게 충격적인 소식이 전해졌습니다.
엔비디아 네모트론 랩스(NVIDIA Nemotron Labs)가 공개한 도리 1.0 4B(Dory 1.0 4B)는 파라미터를 무작정 늘리는 대신, 내부 계층을 순환하는 루프 추론(Latent-Recurrent Architecture) 방식을 도입해 단 40억 파라미터로 상위 체급의 거대 모델들을 압도했습니다.
✅ 소프트웨어 엔지니어링 문제 해결 능력을 검증하는 SWE-bench Verified 벤치마크에서 기본 1루프 시 50.3%에 머물던 성능이 4루프 연산 시 61.8%까지 수직 상승하며, 체급이 두 배 이상 큰 Qwen3.5-9B(61.0%)를 추월했습니다.
장문 맥락을 다루는 AA-LCR 평가에서도 73.0점을 기록하며 강력한 추론 지속성을 입증했습니다.
💰 공식 허깅페이스 원본 저장소:
4B 파라미터 공식 커스텀 모델 구조와 가중치를 1초 만에 확인하세요!
도리 1.0 4B 핵심 아키텍처: 왜 루프(Loop)인가?
도리 1.0은 총 36개의 트랜스포머 층으로 구성되어 있습니다. 그러나 기존 모델처럼 순차적으로 통과하는 일방통행 구조가 아니라 독특한 3단 구조를 취합니다.
- 입력 블록 (Input Block): 8개 계층으로 초기 토큰 임베딩과 기반 정보를 정제합니다.
- 순환 블록 (Recurrent Core): 20개 계층을 1회부터 최대 4회까지 반복 순환하여 잠재 공간(Latent Space)에서 심층 추론을 수행합니다.
- 출력 블록 (Output Block): 마지막 8개 계층을 거쳐 최종 답변 토큰을 출력합니다.
🤯 즉, 1루프 시 36개 층(8+20+8), 2루프 시 56개 층(8+40+8), 4루프 시 96개 층(8+80+8)의 깊은 연산 효과를 동일한 메모리 크기 위에서 온디맨드로 끌어낼 수 있는 탄력적 연산(Elastic Compute)을 지원합니다.
📌 엔비디아 공식 Q5_K_M 양자화:
16GB 맥북과 일반 PC에서 렉 없이 돌아가는 필수 GGUF 파일입니다!
로컬 하드웨어 요구사양 및 구동 핵심 요령
도리 1.0 4B의 가장 큰 매력은 16GB 통합 메모리를 갖춘 맥북(M1/M2/M3/M4)이나 중급형 그래픽카드를 탑재한 윈도우/리눅스 PC에서 여유롭게 구동된다는 점입니다.
로컬 환경 하드웨어 팩트체크
- 최소 요구 램(RAM): 16GB 통합 메모리 (VRAM 4~6GB 점유)
- Q5_K_M GGUF 용량: 약 3.67GB (로컬 스토리지 부담 제로)
- NVFP4 경량화 용량: 약 3.20GB (최신 GPU 전용 초고속 서빙)
- 컨텍스트 윈도우: 최대 256K 토큰 지원 (방대한 소스 코드 일괄 분석)
🔔 주의할 점: 기존 Ollama나 순정 llama.cpp 최신 릴리즈로 구동할 경우 순환 구조를 해석하지 못해 로딩 에러가 발생합니다. 엔비디아 개발 기여자의 전용 포크 빌드(llama.cpp PR #30306)를 이용해야 메탈(Metal) 가속을 온전히 활용할 수 있습니다.
✅ 엔비디아 기여자 깃허브 코드:
순정 에러 완벽 해결! Mac Metal 가속 전용 검증 빌드를 다운로드하세요.
메모리 폭증을 막는 마지막 루프 캐시(Last-Loop Cache)
루프를 4번 돌린다고 해서 메모리 사용량까지 4배로 늘어나지 않습니다. 엔비디아는 중간 순환 계층의 KV 캐시를 누적하지 않고 마지막 루프의 활성화 값(Last-Loop Cache)만을 보존하는 캐시 전략을 기본 탑재하여 VRAM 누수를 원천 차단했습니다.
🤯 서버 운영자 필수 vLLM 브랜치:
2.4배 빠른 처리 속도와 멀티 루프 서빙 설정을 지금 바로 확인하세요!
📆 RTX 및 최신 GPU 전용 4비트:
속도와 품질을 모두 잡은 차세대 초고속 양자화 모델을 만나보세요!
결론: 2026 로컬 AI 어시스턴트의 새로운 기준
엔비디아 도리 1.0 4B는 하드웨어 인프라 비용 부담 때문에 강력한 로컬 AI 도입을 망설였던 개인 개발자와 스타트업에게 최적의 선택지입니다.
일반적인 코딩 및 도구 호출 작업에는 2루프를 적용해 빠른 반응 속도를 유지하고, 정교한 버그 수정이나 고난도 아키텍처 분석에는 4루프를 가동하여 최대 성능을 발휘해 보시기 바랍니다.