微软发表首个超过20亿参数的1-bit模型

微软发表首个超过20亿参数的1-bit模型

17日讯，微软本周发表20亿参数的1-bit模型BitNet b1.58 LLM家族，称此新型模型比主流Transformer LLM更不占内存且更少耗能，适合在 CPU 或较小型硬件平台上执行。这是第一个参数20亿的开源原生1-bit LLM。它是以4兆字词的数据集训练而成，具备4096 token的context length。根据研究团队比较测试，BitNet b1.58-3B/3.9B版本占用内存为2.22GB及2.38GB，远小于LLaMA-3B的7.89GB。延迟性来看，BitNet b1.58-3B/3.9B各为1.87ms及2.11ms，优于LLaMA-3B的5.07ms。两个BitNet b1.58的PPL以及零样本训练准确性表现，也都超越LLaMA-3B。

—— ithome tw、微软开源地址

via 风向旗参考快讯 - Telegram Channel