Skip to content

Latest commit

 

History

History
37 lines (28 loc) · 1.15 KB

README.md

File metadata and controls

37 lines (28 loc) · 1.15 KB

Asoul-reply

本项目使用来自b站评论区的30w条评论对微调CPM的大模型,并且在此基础上蒸馏而成。

大模型效果:b站视频

本项目是蒸馏后的模型,效果比源模型略低。

安装

首先安装pytorch等基础依赖,再安装APEX以支持fp16:

pip install -r requirements.txt
git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./

或者使用智源提供的Docker容器。安装方式如下:

docker pull dmye/cpm:v0

参考运行指令如下:

sudo docker run --gpus '"device=0,1"' -it -v <path>:/CPM  --name=cpm  cpm:v0

其中<path>为代码所在目录,-v进行文件目录挂载

使用

下载好模型后放在项目根目录models文件夹中。

提供了命令行交互式生成:

bash scripts/generate_text.sh

运行该脚本需要两块GPU,运行时每张约占用1.5G显存。