1. Hugging Face Transformers 简介

在前面的文章中，我们已经介绍了 Hugging Face 这个社区，了解了它是当下大模型领域最核心的开源平台，里面托管了大量的开源模型（Models）、数据集（Datasets）和应用（Speces）。

在 Hugging Face 中，最核心的就是 Transformers 库，它是一个基于预训练模型的Python库，构建于经典的深度学习框架 TensorFlow 、PyTorch 和 JAX 之上，并提供了更高层的抽象，允许用户高效地下载和训练机器学习模型。

Transformers最初被创建用于开发语言模型，现在功能已扩展到包括多模态、计算机视觉和音频处理等其他用途的模型，已经成为了大模型 pre-train 和 fine-tune 工程的事实标准，几乎所有大模型微调的项目都会使用到 Transformers 库。

Transformers 库的价值主要在于以下几个方面：

• 丰富的预训练模型：提供广泛的预训练模型，如 BERT、GPT、T5 等，适用于各种NLP任务。

• 易于使用：设计注重易用性，使得即使没有深厚机器学习背景的开发者也能快速上手。

• 快速集成最新研究成果：Transformers 的更新非常活跃，会第一时间跟进最新的研究成果和模型。

• 强大的社区支持：活跃的社区不断更新和维护库，提供技术支持和新功能。

• 跨框架兼容性：支持多种深度学习框架，如 PyTorch、TensorFlow 和 JAX，并提供灵活选择。

• 高度灵活和可定制化：允许用户根据需求定制和调整模型，进行微调或应用于特定任务。

• 广泛的应用范围：适用于从文本分类到语言生成等多种 NLP 应用，以及多模态的扩展。

2. Pipeline 运行原理

在 Transformers 库中，提供了一个 Pipeline（管道） API，它封装了 Transformers 库中大部分复杂的逻辑处理，并暴露给用户一个简单易用的、可用于处理多种模型任务的接口，包括命名实体识别、情感分析、特征提取、问答等等，可以有效地降低模型推理的学习和使用成本。

可以概览下 Pipeline 所支持的核心功能：

Pipeline 封装了整个数据预处理、模型推理与特定任务后处理的过程。

我们以一个具体的情感分析场景为例：输入一句话 "AI changes the world!"，让模型判断出出这句话的情感倾向是正面还是负面。

其核心原理可以参考下图：

1. Tokenizer 分词器：针对文本类大模型来说，通过每个大模型都有一个与其一一对应的 Tokenizer 分词器。因为模型是没法直接处理文本的，它只能进行向量和矩阵计算，因此需要 Tokenizer 先将原始文本编码成对应的 token_ids，这样才能交给模型进行处理。

2. Model 大模型：预训练好的 LLM 大模型，例如 BERT、GPT 等，对输入的 token_ids 进行推理计算，输出特定的概率。

3. Post-Processing 特定任务后处理：通常模型的原始输入无法直接使用，需要进行特定业务场景的后处理，在本例子，就需要将模型输出的概率，转换成正向、负向的标签及其对应的置信度（Score）。

3. 使用 Pipeline API 实战情感分析

接下来，我们就以上面的情感分析功能为例，实战下 Pipeline API 的使用。代码非常简单：

from transformers import pipeline  # 导入Transforms Pipeline API
# 创建Pipeline# 使用tabularisai/multilingual-sentiment-analysis模型pip = pipeline(task="sentiment-analysis",                 model="tabularisai/multilingual-sentiment-analysis") 
# 进行情感分析result = pip("AI changes the world!")print(result)

执行结果如下 ：

模型将 "AI changes the world!" 这句话判定成了 Very Positive，并且置信度分数为 0.69，这比较符合我们的常识。

可以看到，使用 Pipeline API，可以非常方便地实现各种常见的机器学习任务，大幅提高了开发效率。

 我们该怎样系统的去转行学习大模型 ？

很多想入行大模型的人苦于现在网上的大模型老课程老教材，学也不是不学也不是，基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近100余次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来： 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

一、大模型经典书籍（免费分享）

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

二、640套大模型报告（免费分享）

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

三、大模型系列视频教程（免费分享）

四、2025最新大模型学习路线（免费分享）

我们把学习路线分成L1到L4四个阶段，一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：我们会去了解大模型的基础知识，以及大模型在各个行业的应用和分析；学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段是我们的AI大模型RAG应用开发工程，我们会去学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，我们会去学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造我们自己的Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，我们会更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调。

L5阶段：专题集丨特训篇 【录播课】

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方二维码，免费领取

​