微调大模型-3-微调基座模型

官网：https://www.llamafactory.cn/ git：https://github.com/hiyouga/LLaMA-FactoryMeta的微调工具链~平民老百姓创建自己的LLM就靠它了。

爱喝白开水a

1147人浏览 · 2024-10-28 15:46:20

爱喝白开水a · 2024-10-28 15:46:20 发布

LLamaFactory介绍

在这里插入图片描述
官网：https://www.llamafactory.cn/ git：https://github.com/hiyouga/LLaMA-Factory

Meta的微调工具链~平民老百姓创建自己的LLM就靠它了在这里插入图片描述

配置LLamaFactory

在这里插入图片描述

下载

git clone https://github.com/hiyouga/LLaMA-Factory.git

安装依赖项

pip install -r requirements.txt

安装额外依赖项

pip install -e ".[torch,metrics]"

这是官网的安装说明，如果不操作这步，后续训练时会报错缺少库：在这里插入图片描述

运行工具链网页

先尝试习惯性的通过右上角运行按钮，运行代码src/webui.py。在这里插入图片描述
浏览器进入7861端口，网页成功起来。点击数据集时，发现终端报警告：Cannot open data/dataset_info.json due to [Errno 2] No such file or directory: 'data/dataset_info.json。

问题原因：https://github.com/hiyouga/LLaMA-Factory/issues/2116

原来是路径问题，直接运行代码，没有找到数据集的配置文件。

解决方案：进入Llama Factory根目录，用Python启动网页脚本：

cd LLaMa-Factory/
python src/webui.py

训练数据集说明

LLaMA-Factory微调支持的格式支持alpaca格式和sharegpt格式的数据集。
Alpaca格式：

在这里插入图片描述

instruction：指令，即需要做的事情的抽象（如总结一句话）；

input：具体要做的事情（如具体是什么话）；

output：模型的回答；

system：系统提示词（如什么风格、什么角色）；

history：是由多个字符串二元组构成的列表，分别代表历史消息中每轮对话的指令和回答。在指令监督微调时，历史消息中的回答内容也会被用于模型学习。

举例：

[
     {     
       "instruction": "识别并解释给定列表中的两个科学理论：细胞理论和日心说。",       
       "input": "",       
       "output": "细胞理论是生物科学的一个理论，它认为所有生命体都是由微小的基本单元——细胞所构成。这是生物学的一个基础理论，认为细胞是所有生物的基本结构和功能单位，所有的生物都是由一个或多个细胞组成，细胞只能通过细胞分裂产生新的细胞。这一理论由薛定谔、施瓦内和雪莱于1839年首次提出。\n\n日心说是指太阳是太阳系的中心，也就是说，行星围绕太阳旋转的理论。这个理论打破了传统的地心说观点，认为地球并不是宇宙的中心。日心说的提出者是尼古拉·哥白尼，他在16世纪初发表了他的著作《天体运行论》，阐述了太阳系行星围绕太阳运行的模型，为天文学的发展做出了巨大贡献。"     
     },     
     {     
       "instruction": "输入三支篮球队的名称并生成一个适当的口号。",       
       "input": "输入：俄克拉荷马城雷霆队，芝加哥公牛队，布鲁克林网队。",       
       "output": "输出： \"雷霆，公牛和网队：各显神通，角逐群雄!\""     
     },     
     {     
       "instruction": "比较以下两位著名人物，使用特征列表并以句子形式提供输出。",       
       "input": "人物1：阿尔伯特·爱因斯坦\n人物2：斯蒂芬·霍金\n特征：智力、教育、对世界的影响",       
       "output": "阿尔伯特·爱因斯坦和斯蒂芬·霍金都是拥有极其出色智力的人物。两人都取得过非常高的教育成就，他们推进了科学发展并在世界范围内产生了深远的影响。爱因斯坦以其相对论和质能关系公式而闻名，而霍金以其关于黑洞和宇宙的发现而著称。两位科学家都以其深厚的学识和非凡的贡献影响了世界。"     
     },     
     {     
       "instruction": "请根据以下文章构建一个需要回答的问题。",       
       "input": "",       
       "output": "我不好意思，您没有提供任何信息或文章来供我根据它构建问题。 请提供相应的文章或信息，以便我能够帮助您构建问题。"    
     }   
     ]

参考：https://github.com/hiyouga/LLaMA-Factory/blob/main/data/alpaca_zh_demo.json

Sharegpt格式：

在这里插入图片描述

相比 alpaca 格式的数据集，sharegpt 格式支持更多的角色种类，例如 human、gpt、observation、function 等等。

它们构成一个对象列表呈现在 conversations 列中，用于模拟真实AI对话过程。

注意：其中 human 和 observation 必须出现在奇数位置，gpt 和 function 必须出现在偶数位置。

举例：

[
  {      
    "conversations": [         
      {         
        "from": "human",           
        "value": "我需要为John Doe生成一张发票。他购买了2个苹果，每个$1，以及3根香蕉，每根$0.5。"         
      },         
      {         
        "from": "function_call",           
        "value": "{\"name\": \"generate_invoice\", \"arguments\": {\"customer_name\": \"约翰·多伊\", \"items\": [{\"name\": \"苹果\", \"quantity\": 2, \"price\": 1}, {\"name\": \"香蕉\", \"quantity\": 3, \"price\": 0.5}]}}"         
      },         
      {         
        "from": "observation",           
        "value": "{\"invoice_id\": \"INV12345\", \"customer_name\": \"约翰·多伊\", \"items\": [{\"name\": \"苹果\", \"quantity\": 2, \"price\": 1, \"total\": 2}, {\"name\": \"香蕉\", \"quantity\": 3, \"price\": 0.5, \"total\": 1.5}], \"total\": 3.5, \"status\": \"生成\"}"         
      },        
      {         
        "from": "gpt",           
        "value": "发票已成功生成。发票编号为INV12345。约翰·多伊的总金额为$3.5。发票包含2个苹果，总金额为$2，以及3根香蕉，总金额为$1.5。"         
      }       
    ],       
    "tools": "[{\"name\": \"generate_invoice\", \"description\": \"生成发票\", \"parameters\": {\"type\": \"object\", \"properties\": {\"customer_name\": {\"type\": \"string\", \"description\": \"客户名称\"}, \"items\": {\"type\": \"array\", \"items\": {\"type\": \"object\", \"properties\": {\"name\": {\"type\": \"string\", \"description\": \"The item name\"}, \"quantity\": {\"type\": \"integer\", \"description\": \"The quantity of the item\"}, \"price\": {\"type\": \"number\", \"description\": \"The price per unit\"}}, \"required\": [\"name\", \"quantity\", \"price\"]}}}, \"required\": [\"customer_name\", \"items\"]}}, {\"name\": \"generate_password\", \"description\": \"生成随机密码\", \"parameters\": {\"type\": \"object\", \"properties\": {\"length\": {\"type\": \"integer\", \"description\": \"密码的长度\"}}, \"required\": [\"length\"]}}]"     
  },     
  {      
    "conversations": [       
      {         
        "from": "human",           
        "value": "假设你有一个需要随机数的Java程序，范围在0到10之间。你可以使用什么代码片段来生成这样的数字？\n\n下面是一个示例代码片段，它使用Math.random()方法来生成一个在0到1之间的随机数，然后缩放并四舍五入结果，得到一个在0到10之间的随机数：\n\njava\nint randomNumber = (int) (Math.random() * 11);\n```\n\n在Java中是否有更有效的方法来生成随机数？你会如何修改代码以生成具有不同范围或分布的随机数？"         
      },         
      {         
        "from": "gpt",           
        "value": "您提供的代码片段是Java中生成随机数的一种常见且高效的方法。然而，如果您需要对随机数生成有更多的控制，您可以使用java.util.Random类，它提供了更多生成随机数的选项。\n\n要生成一个在不同范围内的随机数，您可以修改代码以调整缩放因子。例如，要生成一个在1到10之间的随机数，您可以使用以下代码：\n\nint randomNumber = (int) (Math.random() * 10) + 1;\n\n要生成具有不同分布的随机数，您可以使用各种技术，如正态分布、指数分布或自定义分布。生成正态分布的一种方法是使用Box-Muller变换。这里有一个代码示例，它生成具有正态分布的随机数：\n\nRandom random = new Random();\ndouble u1 = random.nextDouble();\ndouble u2 = random.nextDouble();\ndouble z = Math.sqrt(-2 * Math.log(u1)) * Math.cos(2 * Math.PI * u2);\ndouble mean = 5;\ndouble stdDev = 2;\nint randomNumber = (int) (z * stdDev + mean);\n\n这段代码生成一个具有均值5和标准差2的正态分布随机数。您可以调整均值和标准差来生成具有不同分布的随机数。"         
      },         
      {         
        "from": "human",           
        "value": "你能解释一下算法分析中的大O记法概念吗？"         
      },         
      {         
        "from": "gpt",           
        "value": "是的，大O表示法是一种描述算法性能随输入数据大小增加的方法。它用于估计算法在最坏情况下的时间复杂度或空间复杂度。大O中的“O”代表“数量级”，这意味着随着输入大小的增加，算法所需的操作数以一定的速率增长。\n\n例如，如果我们有一个需要n步才能解决大小为n的问题的算法，那么时间复杂度可以表示为O(n)，这意味着操作数随着输入大小线性增长。如果我们有一个需要n^2步才能解决大小为n的问题的算法，那么时间复杂度可以表示为O(n^2)，这意味着操作数随着输入大小二次方增长。\n\n还有其他几种大O表示法，如O(log n)、O(n log n)、O(2^n)等，它们代表了随着输入大小增加的不同操作数增长速率。通过分析算法的大O表示法，我们可以比较不同算法的性能，并选择给定问题最有效的算法。\n\n您是否有关于大O表示法或算法分析的特定问题？"         
      }       
      ],       
      "tools": "[]"     
    },   
  ]

参考：https://github.com/hiyouga/LLaMA-Factory/blob/main/data/glaive_toolcall_zh_demo.json