chatgml-6B

1.GLM预训练介绍

GLM(通用语言模型），基于自回归空白填充假设输入语段是是x1-x6,随机mask掉一部分,模型开始预测被mask的语段是什么，同时随机打乱mask的位置。
在这里插入图片描述
在这里插入图片描述
链接: GLM Paper
链接: GLM-130B Paper
链接: ChatGLM-6B

2.基础环境及镜像镜像下载方式

在这里插入图片描述
链接: HuggingFace Repo
链接: Get Started

3.模型文件下载

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
链接: Torch Version
在这里插入图片描述

3.1推理

在这里插入图片描述
在这里插入图片描述

4. Fingtuing

P-Tuning (1 RTX2080 ti *11G)
LoRA (1 RTX2080 ti *11G)
Full Parameter

4.1数据准备

在这里插入图片描述
样例数据下载链接
链接: Dataset

5.有监督训练量化训练

在这里插入图片描述

5.1更改全部参数训练方式

在这里插入图片描述

5.2 LoRA训练方式

链接: LoRA详细介绍

链接: lchatglm-lora_hub

在这里插入图片描述

# 深度学习 # pytorch # 人工智能
Logo
智源数据社区

更多推荐

cover

自然语言处理(NLP)-下游任务&数据集：语言模型、机器翻译、问答、文本分类、情感分析、文本生成、自动摘要、命名实体识别、阅读理解、自然语言推理、信息提取、词性标注、共指消解、实体链接【＞200项】

avatar 智源数据社区

利用科大讯飞开放平台 进行自然语言处理（NLP）Python

最近在做聊天机器人的人工智能实践，需要用到依存句法分析和语义依存分析，所以利用强大的中文语言技术平台注册及快速入门网址 https://www.xfyun.cn/快速入门文档 https://www.xfyun.cn/doc/platform/quickguide.htmlIP白名单设置运行demo时，会出现类似{"code":"10105","data":{},"desc":"ill...

avatar 智源数据社区
cover

解读自然语言处理：技术、应用与未来展望

avatar 智源数据社区