검색: inference

🤖 AI / ML 일간 2026-06-01 06:01

DeepSeek-V4-Pro, HuggingFace 트렌딩 1위 — 다운로드 580만 건 돌파

DeepSeek AI가 공개한 DeepSeek-V4-Pro가 HuggingFace 트렌딩 최상위에 오르며 폭발적인 관심을 받고 있습니다. 공개 이후 다운로드 수가 580만 건을 넘어섰고 좋아요도 4,493개에 달해 현재 커뮤니티에서 가장 주목받는 텍스트 생성 모델 중 하나로 자리 잡았습니다. fp8 및 8-bit 추론을 지원해 상대적으로 가벼운 하드웨어에서…

🤖 AI / ML 일간 2026-05-30 06:02

일반 GPU에서 요청당 3,000 tokens/s 달성 — 실시간 LLM 추론의 새 기준

전용 AI 가속기 없이 일반(standard) GPU만으로 요청당 초당 3,000 토큰 처리를 실현했다는 기술 블로그 글이 Hacker News에서 187점, 84개 댓글을 기록하며 뜨거운 반응을 얻었어요. LLM 추론 속도 벤치마크에서 이 수치는 꽤 인상적인데, 특히 A100·H100 같은 고가의 전용 GPU 없이도 가능하다는 점이 핵심입니다. 지금까지 …

🤖 AI / ML 일간 2026-05-26 06:01

Tencent, 한국어 포함 40개 언어 지원 번역 특화 LLM 'Hy-MT2' 시리즈 공개

텐센트가 40개 이상의 언어를 지원하는 번역 특화 LLM 시리즈 Hy-MT2를 HuggingFace에 공개했습니다. 1.8B 파라미터의 경량 dense 모델(Hy-MT2-1.8B)과 30B-A3B 규모의 대형 모델(Hy-MT2-30B-A3B) 두 가지 버전으로 출시되었습니다. 한국어(ko)를 포함해 영어, 중국어, 일본어, 아랍어, 힌디어 등 주요 언어를 …

🤖 AI / ML 일간 2026-05-24 06:01

OpenBMB, 온디바이스 경량 멀티모달 모델 MiniCPM-V-4.6 출시

OpenBMB가 이미지와 텍스트를 동시에 처리하는 경량 멀티모달 모델 MiniCPM-V 시리즈의 최신 버전인 MiniCPM-V-4.6을 공개했습니다. 이 모델은 온디바이스(On-Device) 환경에서의 실행을 목표로 설계된 lightweight 모델로, 스마트폰이나 엣지 디바이스처럼 리소스가 제한된 환경에서도 멀티모달 AI를 활용할 수 있도록 최적화되어 있…

🤖 AI / ML 월간 2026-05-01 07:21

월간 AI / ML 종합

🤖 AI / ML 일간 2026-04-28 10:26

vLLM: 고처리량, 메모리 효율적인 LLM 추론 및 서빙 엔진

vLLM 프로젝트가 78,000개 이상의 GitHub 스타를 기록하며 LLM 추론 및 서빙 분야에서 가장 인기 있는 오픈소스 솔루션으로 자리잡았습니다. 이 프로젝트는 DeepSeek, Qwen, Kimi 등 다양한 최신 모델을 지원하며, AMD, NVIDIA, TPU 등 다양한 하드웨어에 최적화되어 있습니다. vLLM은 개발자들이 대규모 LLM을 효율적으로…

🔎 검색