๐ ๊ฒ์
"MoE" ๊ฒ์ ๊ฒฐ๊ณผ 7๊ฑด
-
zai-org, ์คํ์์ค ๋ํ ์ธ์ด๋ชจ๋ธ 'GLM-5.2' ๊ณต๊ฐ
zai-org(Z.ai)๊ฐ ์๋ก์ด ์คํ์์ค LLM์ธ GLM-5.2๋ฅผ ๊ณต๊ฐํ๊ณ , HuggingFace ํธ๋ ๋ฉ์์ ๋ค์ด๋ก๋ 489,611ํ, ์ข์์ 3,943๊ฐ๋ฅผ ๊ธฐ๋กํ๋ฉฐ ํฐ ์ฃผ๋ชฉ์ ๋ฐ๊ณ ์์ด์. glm_moe_dsa๋ผ๋ ์ด๋ฆ์ ์ํคํ ์ฒ๋ฅผ ์ฌ์ฉํ๋๋ฐ, MoE(Mixture of Experts) ๊ณ์ด ๊ตฌ์กฐ๋ก ์ถ์ ๋ฉ๋๋ค. ๋ผ์ด์ ์ค๋ MIT๋ก ์์ ์ ํ์ฉ๊น์ง ์์ ๋กโฆ
-
Z.ai, ๋๊ท๋ชจ ์ธ์ด๋ชจ๋ธ GLM-5.2 ๊ณต๊ฐ... ๋ค์ด๋ก๋ 42๋ง ๋ํ
์ค๊ตญ AI ๊ธฐ์ Z.ai(zai-org)๊ฐ ์๋ก์ด ๋๊ท๋ชจ ์ธ์ด๋ชจ๋ธ GLM-5.2๋ฅผ HuggingFace์ ๊ณต๊ฐํ์ต๋๋ค. ์ด ๋ชจ๋ธ์ MoE(Mixture of Experts) ๊ตฌ์กฐ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ glm_moe_dsa ์ํคํ ์ฒ๋ฅผ ์ฌ์ฉํ๋ฉฐ, ์์ด์ ์ค๊ตญ์ด๋ฅผ ๋ชจ๋ ์ง์ํ๋ ๋ํํ(conversational) ๋ชจ๋ธ์ ๋๋ค. ๋ผ์ด์ ์ค๋ ์์ ์ ํ์ฉ์ด ์์ ๋ก์ด MIT๋ก โฆ
-
Zhipu AI, ์ ๊ท ๋ํ ์ธ์ด๋ชจ๋ธ 'GLM-5.2' ๊ณต๊ฐ
์ค๊ตญ AI ๊ธฐ์ Zhipu AI(zai-org)๊ฐ ์๋ก์ด ๋ํ ์ธ์ด ๋ชจ๋ธ GLM-5.2๋ฅผ Hugging Face์ ๊ณต๊ฐํ์ต๋๋ค. ์ด ๋ชจ๋ธ์ MoE(Mixture of Experts) ๊ธฐ๋ฐ์ glm_moe_dsa ์ํคํ ์ฒ๋ฅผ ์ฌ์ฉํ๋ฉฐ, ์์ด์ ์ค๊ตญ์ด๋ฅผ ์ง์ํ๋ ๋ํํ(conversational) text-generation ๋ชจ๋ธ์ ๋๋ค. ๊ณต๊ฐ ์งํ ๋ค์ด๋ก๋ ์ฝ โฆ
-
Zhipu AI, LLM 'GLM-5.2' ๊ณต๊ฐโฆHugging Face ํธ๋ ๋ฉ 1์
์ค๊ตญ AI ๊ธฐ์ Zhipu AI(zai-org)๊ฐ ๊ณต๊ฐํ ๋ํ์ธ์ด๋ชจ๋ธ GLM-5.2๊ฐ Hugging Face ํธ๋ ๋ฉ์์ ๋์ ๋๋ ์ฑ์ ์ ๋์ต๋๋ค. ๋ค์ด๋ก๋ ์ 281,584ํ, ์ข์์ 3,579๊ฐ๋ฅผ ๊ธฐ๋กํ๋ฉฐ ์ด๋ฒ์ ์์ง๋ HF ํธ๋ ๋ฉ ๋ชจ๋ธ ์ค ๊ฐ์ฅ ๋์ ์ธ๊ธฐ๋ฅผ ๋ณด์์ต๋๋ค. ๋ชจ๋ธ ํ๊ทธ(glm_moe_dsa)๋ก ๋ฏธ๋ฃจ์ด ๋ณผ ๋ Mixture-of-Expertsโฆ
-
GLM-5.2, ํ๊น
ํ์ด์ค ํธ๋ ๋ฉ ์ต์์๊ถ ๋ฑ๊ทน
zai-org์์ ๊ณต๊ฐํ ๋ํํ ์ธ์ด๋ชจ๋ธ GLM-5.2๊ฐ ํ๊น ํ์ด์ค ํธ๋ ๋ฉ ์ฐจํธ์์ ํฐ ์ธ๊ธฐ๋ฅผ ๋๊ณ ์์ต๋๋ค. ๋ค์ด๋ก๋ 191,462ํ, ์ข์์ 3,331๊ฐ๋ฅผ ๊ธฐ๋กํ๋ฉฐ ์ด๋ฒ ์์ง ์๋ฃ์ ํ๊น ํ์ด์ค ๋ชจ๋ธ ์ค ๊ฐ์ฅ ๋์ ๊ด์ฌ์ ๋ฐ๊ณ ์์ต๋๋ค. ์์ด(en)์ ์ค๊ตญ์ด(zh)๋ฅผ ์ง์ํ๋ text-generationยทconversational ํ์ดํ๋ผ์ธ ๋ชจ๋ธ๋ก, MIโฆ
-
GLM-5.2 ๊ณต๊ฐ: ์์ค ์ด์ค ์ธ์ด ์ง์ MoE ์คํ์์ค ๋ชจ๋ธ
zai-org์์ GLM-5.2๋ฅผ Hugging Face์ ๊ณต๊ฐํ์ต๋๋ค. ์์ด์ ์ค๊ตญ์ด๋ฅผ ๋ชจ๋ ์ง์ํ๋ ์ด์ค ์ธ์ด ๋ชจ๋ธ๋ก, MoE DSA ์ํคํ ์ฒ๋ฅผ ์ฑํํ ๊ฒ์ด ๊ธฐ์ ์ ํน์ง์ ๋๋ค. MIT ๋ผ์ด์ ์ค๋ก ๋ฐฐํฌ๋์ด ์์ ์ ํ์ฉ๊น์ง ์์ ๋กญ๋ค๋ ์ ๋ ํฐ ์ฅ์ ์ ๋๋ค. ๊ด๋ จ arxiv ๋ ผ๋ฌธ 2ํธ(2602.15763, 2603.12201)๋ ํจ๊ป ๊ณต๊ฐ๋์ด ์์ด ๋ชจ๋ธ์ ํ์ โฆ
-
Moebius โ 0.2B ํ๋ผ๋ฏธํฐ๋ก 10B๊ธ ์ฑ๋ฅ์ ๋ด๋ ์ด๋ฏธ์ง ์ธํ์ธํ
๋ชจ๋ธ (HN 215์ )
Hacker News์์ 215์ ์ ๋ฐ์ผ๋ฉฐ ์ฃผ๋ชฉ๋ฐ์ ์ด๋ฏธ์ง ์ธํ์ธํ (image inpainting) ๋ชจ๋ธ์ ๋๋ค. ํ๋ผ๋ฏธํฐ ์๋ ๊ณ ์ 0.2B(2์ต ๊ฐ)์ ๋ถ๊ณผํ์ง๋ง, 10B(100์ต ๊ฐ) ๊ท๋ชจ์ ๋ชจ๋ธ๊ณผ ๋ง๋จน๋ ์์ค์ ์ฑ๋ฅ์ ๋ณด์ธ๋ค๊ณ ์ฃผ์ฅํฉ๋๋ค. ์ธํ์ธํ ์ ์ด๋ฏธ์ง์ ํน์ ์์ญ์ ์์ฐ์ค๋ฝ๊ฒ ์ฑ์ฐ๊ฑฐ๋ ์์ ํ๋ ๊ธฐ์ ๋ก, ์ฌ์ง ํธ์ง์ด๋ ์ฝํ ์ธ ์์ฑ์ ํญ๋๊ฒ ํ์ฉ๋ฉ๋โฆ