专门解决电信行业用户行为建模的难题。华为 GTS 部门 AI 算法团队提出 GTS-LUM，实现移动通信用户精准行为洞析与多跳预测，实验中效果大幅优于 Meta 的 HSTU 和字节的 HLLM。
GTS-LUM，全称 Global Technical Service-Large User Model，主要有以下几个创新点：
基于海量用户行为序列数据自监督、多模异构 Encoder-Adapter-LLM Decoder 架构、Q-former 语义空间和业务空间知识对齐、创新多尺度时序处理机制、多用户运营场景后训练、精准捕捉用户业务级浅层语义。
实验中，在所有评估指标上均显著优于基线模型，拿下领域新 SOTA。
以下是更多细节。
随着电信市场渗透率趋近饱和，存量用户价值挖掘与用户留存成为运营商核心战略。
电信用户在网行为产生的海量数据（日均 PB 级）成为一种新型数据模态。
以往，运营商借助传统机器学习的方法学习用户行为，但受制于模型体量，预测精度上的瓶颈日益突出。而不同于成熟的互联网推荐场景下的用户行为建模，电信场景的特殊性体现在：
电信服务作为社会基础设施具备强连续型需求，导致用户决策呈现长周期特征。
用户关键决策行为（如套餐变更、携号转网）更多受长期服务体验驱动（如网络稳定性、资费合理性等），与互联网场景的短期兴趣驱动机制形成本质差异。
该决策特征使得传统序列建模方法中基于近期行为的采样策略面临挑战，直接应用可能导致关键历史信息丢失，损失预测精度。
与互联网场景中常见的以历史用户-商品交互序列为基础，预测用户下一段时间内的商品交互为目标不同，电信用户的数据输入与预测目标有明显的异质特性，体现在：
行为打点多样性：包含用户-用户 / 产品 / 位置 / 渠道 / 网元交互等信息；
时间粒度层次性：包含秒级（如实时信令）、日级（如业务办理）、月级（如账单）等多个尺度；
目标异质性：包含用户流失预警、套餐升级预测、营销响应建模等多运营任务。
这种复杂性使得现有技术面临几个瓶颈：
1、跨时间尺度建模不足：当前序列建模方法缺少有效的时间处理机制，以捕捉用户跨日、周、月等多时间尺度下用户的长期行为演化模式；
2、多模异构数据表征局限：当前互联网推荐技术常借助商品的文本描述，难以充分利用电信领域异构数据模态丰富的特点强化用户表征能力，直接应用存在异构空间对齐问题；
3、目标分离严重：电信领域现有方案通常对流失预警、套餐升级预测等运营任务独立建模，效率低下，缺乏统一模型架构提取和目标更加有效关联的用户表征。
由此，华为 GTS 部门 AI 算法团队提出了 GTS-LUM。
GTS-LUM 技术架构如下图所示：
GTS-LUM 基于多层级时间划分融合语义策略，通过构建“时段-周期”语义描述优化用户行为序列建模。
具体而言，基础层级将每日划分为若干典型时间区间（如早高峰、午间时段等）；并在周期层级叠加工作日 / 周末的周级维度特征，形成对用户行为发生事件的复合语义描述。然后将用户行为按照指定时间切片范围进行处理汇聚。
针对同一时间切片的用户行为，组织序列时，在起始端嵌入对应的时段-周期语义描述，并在序列末端添加特殊分隔符 [SEP] 作为行为片段的边界标识。
该设计通过粗粒度业务时间特征与细粒度行为位置关系的协同建模，形成具有时间感知能力的用户行为序列。
GTS-LUM 构建了多模态协同的用户行为嵌入框架，精准捕捉用户业务级浅层语义。
在语义特征维度，通过任一时间切片内对用户和产品 / 位置 / 渠道的交互行为进行处理汇聚得到“一句话”描述，然后基于预训练语言模型获得文本向量嵌入，并在语义空间执行谱聚类，从而提取可解释的行为语义编码。
在业务特征维度，采用 Node2Vec 算法对用户-用户交互等图数据以及 TableGPT2 框架对终端设备、地理位置等属性维表进行处理，生成多模态业务嵌入向量。
本方法的核心创新在于引入了基于 Q-Former 适配器的跨模态对齐机制：
通过交叉注意力层自动筛选与当前语义最相关的多模态业务特征，并借助共享的自注意力层构建业务特征空间和语义空间的潜在映射关系，最后通过对比学习任务实现跨模态知识对齐。
值得注意的是，论文中创新性地为 Q-Former 引入了额外训练任务，包括序列片段-文本匹配、序列片段-文本对比学习和序列片段-文本生成，使其兼具多模态对齐器与用户长期兴趣压缩器的双重功能。
GTS-LUM 进一步优化了用户表征学习过程，通过目标感知建模突出了与任务场景最相关的历史行为。
不同于传统推荐模型的目标后置范式，GTS-LUM 将预测标签前置于行为序列起始位置，利用 LLM 的因果注意力机制实现双阶段优化：
在注意力计算阶段，目标标签作为先验条件动态调整历史行为的注意力权重分布；在表征生成阶段，基于 Decoder 的自回归架构实现渐进式特征优化，通过多步解码过程迭代调整用户表征向量。
在某省级运营商真实场景中，选取 20w 左右用户数据量在 Ascend 910B2 NPU 上进行训练和推理，实验结果显示 GTS-LUM 表现亮眼。
GTS-LUM 与业界方案对比如下：
GTS-LUM 在所有评估指标上均显著优于基线模型。
结果表明，尽管典型推荐模型在实验室数据中表现良好，但在具有领域特定复杂性的工业级数据集上会出现显著的性能下降。
具体而言，GTS-LUM 相比 Meta@HSTU 方案平均提升 107.86%，相比 ByteDance@HLLM 方案提升 31.38%，这些改进凸显了融合多模态输入的重要性，以及将开放世界知识与特定业务知识对齐的必要性。
更多实验结果，请参阅论文。
GitHub 链接：https://github.com/zzzzztw/GTS-LUM/blob/main/GTS-LUM.pdf
本文来自微信公众号：量子位（ID：QbitAI），作者：华为 GTS 部门 AI 算法团队
