“AMD发布Llama-135m AI模型，专注RAM节省解码技术”

近日，AMD 公司在 Hugging Face 平台上发布了其首款小型语言模型——AMD-Llama-135m。这款模型凭借其独特的推测解码功能，吸引了广泛关注。该模型拥有高达 6700 亿个 token，并采用 Apache 2.0 开源许可。以下是该模型的地址链接，供感兴趣的朋友访问。

AMD-Llama-135m 的核心优势在于其“推测解码”技术。该技术利用小型草稿模型生成候选 token，再由更大型的目标模型进行验证。这种创新的方法使得每次前向传递能够生成多个 token，同时不影响性能，从而大幅降低 RAM 占用，实现效率的提升。

据 AMD 介绍，该模型在四个 AMD Instinct MI250 节点上进行了为期六天的训练。而针对编程领域的专用版本——AMD-Llama-135m-code，则额外耗费了四天时间进行微调。

AMD-Llama-135m 的推出，不仅展示了 AMD 在 AI 领域的技术实力，也为开源社区贡献了宝贵的资源。未来，这款小型语言模型有望在多个应用场景中发挥重要作用。