通义千问72B、1.8B、Audio模型开源!魔搭社区最佳实践来啦!
今天,通义千问再次重磅开源!
阿里云开源通义千问720亿参数模型Qwen-72B、18亿参数模型Qwen-1.8B 及 音频大模型Qwen-Audio,魔搭社区已首发上线!本次开源的模型中除预训练模型外,还同步推出了对应的对话模型,面向72B、1.8B对话模型提供了4bit/8bit 量化版模型,便于开发者们推理训练。
目前,魔搭社区提供一站式体验、下载、推理、微调、部署服务及教程,欢迎开发者小伙伴们体验!模型效果体验
通义千问团队对Qwen-72B的指令遵循、工具使用等技能作了技术优化,使Qwen-72B能够更好地被下游应用集成,比如,Qwen-72B搭载了强大的系统指令(System Prompt)能力,用户只用一句提示词就可定制自己的AI助手,要求大模型扮演某个角色,或者执行特定的回复任务。
创空间体验链接:
通义千问音频大模型效果体验:
创空间体验链接:
https://modelscope.cn/studios/qwen/Qwen-Audio-Chat-Demo
通义千问1.8B模型效果体验:
创空间体验链接:
模型链接:
通义千问-72B-预训练:
通义千问-72B-Chat:
通义千问-72B-Chat-Int8:https://www.modelscope.cn/models/qwen/Qwen-72B-Chat-Int8
大模型下载
通义千问-72B-Chat-Int4:
https://www.modelscope.cn/models/qwen/Qwen-72B-Chat-Int4
通义千问-1.8B-预训练:
https://modelscope.cn/models/qwen/Qwen-1_8B
通义千问-1.8B-Chat:
https://modelscope.cn/models/qwen/Qwen-1_8B-Chat
通义千问-1_8B-Chat-Int8:
https://www.modelscope.cn/models/qwen/Qwen-1_8B-Chat-Int8
通义千问-1_8B-Chat-Int4:
https://www.modelscope.cn/models/qwen/Qwen-1_8B-Chat-Int4
通义千问-Audio-预训练:
https://modelscope.cn/models/qwen/Qwen-Audio
通义千问-Audio-Chat:
https://modelscope.cn/models/qwen/Qwen-Audio-Chat
模型下载(以通义千问-72B-Chat-Int4为例):
from modelscope import snapshot_download
model_dir = snapshot_download("qwen/Qwen-72B-Chat-Int4")
模型推理 以通义千问-72B-Chat-Int4、通义千问-1_8B-Chat-Int4和通义千问-Audio-Chat为例:
通义千问-72B-Chat-Int4推理代码:
资源消耗:
微调代码开源地址:
https://github.com/modelscope/swift/tree/main/examples/pytorch/llm
微调环境准备
Qwen-72B-Chat-Int4为例:qlora+ddp+deepspeed
脚本地址:https://github.com/modelscope/swift/tree/main/examples/pytorch/llm/scripts/qwen_72b_chat_int4/qlora_ddp_ds