🔎 검색

"speculative decoding" 검색 결과 1건

• 🤖 AI / ML 일간 2026-06-28 06:01
  DSpark: 투기적 디코딩(Speculative Decoding)으로 LLM 추론 속도 대폭 향상

  DeepSeek AI가 LLM 추론 속도를 획기적으로 높이는 DSpark 논문을 공개했습니다. 투기적 디코딩이란 작은 드래프트 모델이 여러 토큰을 미리 예측하고, 큰 타겟 모델이 이를 한 번에 검증하는 방식으로, 기존 자동회귀 방식 대비 훨씬 빠른 추론이 가능합니다. 쉽게 말하면 '초안을 빠르게 잡고 한 번에 검토한다'는 개념인데, 이를 통해 실서비스 환경…