传统的无线AI技术依赖于任务专用模型，面临泛化性不足、标注数据稀缺及多任务协同效率低等挑战。为了解决上述问题，鹏城实验室杨婷婷教授团队研发了首个面向无线通信与感知一体化（ISAC）的基础模型“WirelessGPT”。该模型通过大规模无监督预训练，生成跨时空频域的通用信道表征，显著降低下游任务的调优成本。实验结果表明：该模型在信道估计、动态信道预测及人类活动识别等任务中全面超越现有方法，并在低信噪比（SNR）场景下展现鲁棒性。这一研究展示了无线领域专属大模型WirelessGPT的高效性与可扩展性，为下一代6G网络智能化提供了新范式。（本推文内容由论文作者提供）

WirelessGPT: A Generative Pre-trained Multi-task Learning Framework for Wireless Communication

Tingting Yang, Ping Zhang, Mengfan Zheng, Yuxuan Shi, Liwen Jing, Jianbo Huang, and Nan Li

Pengcheng Laboratory, Shenzhen, China

鹏城实验室，深圳，中国

原文链接：

https://arxiv.org/abs/2502.06877

该分享仅用于技术交流，未经许可禁止用于商业用途。

一、背景与动机

随着6G网络向通信与感知一体化（ISAC）方向演进，无线系统需同时支持信道建模、信道预测、环境重建及目标跟踪等多样化任务。传统的无线AI技术采用任务特定的模型，导致资源冗余、泛化能力受限，且高度依赖标注数据，难以适应动态复杂的无线环境。尽管大模型在自然语言处理（NLP）和计算机视觉（CV）领域取得突破，但在无线通信领域仍缺乏统一的多任务框架。针对这一问题，本文提出WirelessGPT这一通用的无线通信大模型框架（如图1所示），通过跨时空频域的预训练生成通用表征，支持通信与感知任务的协同优化，显著提升了系统的灵活性与效率。

图1 WirelessGPT框架

二、现有方法的挑战

• 任务专用模型缺乏泛化能力：现有方法多采用任务专用模型，例如：针对信道估计、定位等不同任务的模型均不相同，难以适应动态用户行为与多样化部署场景，尤其在跨时空频域的任务中表现受限。

• 标注数据稀缺：无线场景中标注数据（如精确信道状态信息）的获取成本高，制约了监督学习的广泛应用。

• 多任务协同难：通信与感知任务分离设计导致资源利用率低下，且难以实现跨任务的知识共享，例如信道预测与环境重建间的信息互补未被有效挖掘。

三、WirelessGPT框架及关键组件

WirelessGPT基于Transformer构建，通过以下创新设计实现多任务协同：

1. 跨域预训练机制：

• 空间域：采用分块编码（Patch-based Encoding）保留天线几何关系，捕捉多径传播特征。

• 时间域：引入因果自注意力（Causal Self-Attention）建模信道动态演化。

• 频率域：通过傅里叶变换与谱编码提取子载波间依赖关系。

• 掩码重建策略：随机遮蔽15%的信道数据块，模型通过上下文信息补全缺失部分，强化跨域特征学习能力。

2. 可扩展模型参数：

• 初始参数规模为8000万（80M），可扩展至8亿（800M），适配从边缘设备到基站的多样化硬件需求。

• 通过调整Transformer层数、注意力头数及隐藏维度，灵活平衡计算效率与任务性能。

3. 基于高保真数据集Trackverse实现模型训练：

• 覆盖全球27个城市、100余种场景（密集城区、郊区、居民区等），总规模达300GB。

• 基于NVIDIA Sionna平台生成，支持6G候选频段（FR1/FR2/FR3），涵盖反射、折射、散射等多径效应。

WirelessGPT的架构如图2所示，包含多域编码器、动态位置编码、轻量化下游适配等关键组件，各组件具体描述如下：

图2 WirelessGPT的关键组件和预训练框架

• 多域编码器：融合空间、时间、频率三域特征，生成紧凑的通用表征。

• 动态位置编码：为空间与频率域引入位置编码，增强模型对信道结构的理解。

• 轻量化下游适配：预训练表征可直接输入至轻量级下游模型（如ResCNN、LSTM），仅需微调即可高效迁移至分类、回归任务。

四、实验结果与讨论

实验涵盖通信与感知四大核心任务，验证WirelessGPT的泛化能力与效率优势。

4.1 信道估计（WINNER II数据集）

图3 WirelessGPT和信道估计基线模型之间的NMSE比较

性能提升：在OFDM系统（32子载波、4×4天线阵列）中，WirelessGPT结合Transformer下游模型，归一化均方误差（NMSE）较原始数据输入降低14.09%；结合ResCNN时NMSE降低41.44%。

低信噪比优势：在SNR=-5dB的恶劣条件下，WirelessGPT的NMSE较传统方法降低30%，凸显其对噪声的鲁棒性。

效率优化：推理耗时从2.48ms降至2.31ms，训练时间减少13%。

4.2 动态信道预测（Quadriga仿真环境）

（a）WirelessGPT vs. Transformer/LSTM

（b）WirelessGPT vs. 大型语言模型 

图4 信道预测性能对比

恶劣环境表现：在用户移动速度90km/h、SNR<15dB的动态场景中，WirelessGPT的NMSE较专用模型LLM4CP降低12%，表明其跨域表征的有效性。

计算效率：训练耗时仅232.9ms，较LLM4CP（449.9ms）提升1.9倍，参数规模减少82.9M。

4.3 人类活动识别（Wi-Fi CSI数据）

高精度与低开销：基于预训练表征的分类准确率达98.11%，较原始数据输入（96.5%）提升1.6个百分点，同时输入数据量压缩至0.67%，算力需求（Flops）从210.39G降至1.42G。

跨场景泛化：模型预训练使用室外复数CSI数据，能直接适配。

室内Wi-Fi幅度数据任务，凸显其表征的通用性。

4.4 环境重建（SionnaRT仿真）

高分辨率重建：在毫米波频段（28GHz、60GHz）下，WirelessGPT生成的3D点云成功捕获建筑物边缘、角落等强散射体，Chamfer距离收敛稳定，验证其对复杂多径环境的建模能力。

五、总结与展望

WirelessGPT作为首个面向ISAC领域的多任务基础模型，通过跨域预训练与可扩展架构，显著降低了无线任务的标注依赖与计算成本，在信道估计、信道预测及感知任务中均展现领先性能。未来工作将聚焦于：（1）模型规模化：扩展参数至800M，探索其在更复杂场景（如大规模MIMO、太赫兹通信）中的应用潜力。（2）任务扩展：集成更多感知任务（如手势识别、障碍物检测），推动通信与感知的深度协同。（3）硬件部署优化：针对边缘设备设计量化与蒸馏方案，进一步提升实时性。

GenAINet公众号简介

GenAINet公众号由IEEE Large Generative AI Models in Telecom (GenAINet) ETI成立，由GenAINet公众号运营团队负责维护并运行。

GenAINet公众号运营团队：

孙黎，彭程晖 （华为技术有限公司）

杜清河，肖玉权，张朝阳 （西安交通大学）

王锦光，俸萍 （鹏城实验室）

编辑：张朝阳

校对：肖玉权