Mobius Labs - 关于1bit量化LLM的探索

AI观察员 2024-04-01 09:52:39 浏览数 (186)
反馈

Mobius Labs - 关于1bit量化LLM的探索

Image

Mobius Labs对1bit量化LLM进行了探索,探讨了使用HQQ+对预训练模型进行极低位(2位和1位)量化的细节。结果表明,即使在1位量化下,在HQQ量化模型的基础上仅训练一小部分权重,输出质量也会显著提高,超过了更小的全精度模型。

对于Llama2-7B等小模型应用1位量化会产生次优结果。但经过微调后,其输出质量会大幅提升。

对于2位量化,当给予更专业的数据时,模型表现会非常出色。事实上,使用HQQ+的Llama2-7B 2位基础模型在wikitext上的表现超过了全精度模型。

其实看不太懂,但好像挺重要的就转发一下看看,他们还发布了Colab运行的代码。

全文在这里:Mobius Labs - 1bit量化LLM探索

@MobiusLabs @1bit量化LLM @HQQ

0 人点赞