EN
CPM-Ant

CPM-Ant是一个开源的中文预训练语言模型,拥有10B参数。它是CPM-Live直播训练过程中的第一个里程碑。训练过程是低成本和环境友好的。基于增量微调(delta tuning)方法,CPM-Ant在CUGE基准测试中取得了优异的结果。除了完整的模型,我们还提供各种压缩版本以适应不同的硬件配置。检查点是完全开放的,CPM-Ant采用了开放的许可协议。

资源下载
原模型下载:
10B
压缩版模型下载:
0.3B
1B
3B
7B
201.86B Tokens 总吞吐量
430813 总花费
68 总天数
智取标题
请点击下方按钮生成标题
劲爆标题生成
正文内容 切换样例 清空文本
模型能力
数据集 CPM-Ant(10B) CPM-2 Yuan1.0
CCPM 92.13 91.6 89.71
KdConv 18.57 13.12 18.55
Math23K 71.6 69.4 76.9
Sogou-Log 38.02 35.9 28.12
LCSTS 30.08 35.9 40.82
C3 80.83 86.1 86.9
模型参数量 10B 11B 13B
微调参数量 6.3M 11B 未公开
© 2022 OpenBMB 版权所有