企业官网建设流程全解析

网站平台开发,官网创建模版,广州网站seo地址,西安易扬众和网站建设论文标题#xff1a;Unleashing The Power of Pre-Trained Language Models for Irregularly Sampled Time Series论文链接#xff1a;https://arxiv.org/abs/2412.20790研究背景本文探索了利用大语言模型处理不规则采样的时间序列#xff08;Irregularly Sampled Time Seri…论文标题Unleashing The Power of Pre-Trained Language Models for Irregularly Sampled Time Series论文链接https://arxiv.org/abs/2412.20790研究背景本文探索了利用大语言模型处理不规则采样的时间序列Irregularly Sampled Time Series, ISTSISTS数据因采样间隔不规则和数据缺失导致很多情况下很难直接应用已有的模型 然而在医疗健康、生物学、气候科学、天文学、物理学和金融学等多个领域中不规则采样的时间序列十分常见。尽管预训练基础模型已推动自然语言处理和计算机视觉领域取得重大进展但它们在时间序列分析中的发展却受到数据稀疏性和对任务特异性方法需求的限制这引发了一个关键问题PLMs对ISTS分析是否仍然有效现有工作不足过往研究多聚焦于规则采样时间序列传统方法如循环神经网络和 Transformer 模型在处理不规则时间序列时需将时间线离散化或填充缺失值这易造成信息丢失并忽视观测间动态 。然而如何协调时间序列数据与自然语言模式释放预训练语言模型在时间序列分析中的潜力仍是亟待解决的问题 。此外将 Transformer 扩展到连续时间域以提升对不规则时间序列数据的建模能力也逐渐成为研究热点 。ISTS的表示方法对比首先作者总结了针对不规则序列的三种核心表示方法分别是集合式、向量式、序列式表示。针对含 N 个变量、各变量观测时间间隔不规则的 ISTS文中介绍了三种典型表示方法如图 1 所示核心差异在于数据组织形式对模型适配性的影响。结论序列式表示按变量将 ISTS 拆分为多个单变量序列每个序列仅包含对应变量的真实观测时间与取值不含冗余标记或混合信息。这种方式结构清晰能有效减少变量间的干扰适配 PLMs 的序列建模特性。本文模型本文提出统一的PLM基框架ISTS-PLM以应对非规则采样时间序列ISTS分析挑战框架包含可训练输入嵌入层、PLM骨干模块与可训练任务输出层通过冻结PLM核心参数仅微调层归一化参数平衡性能与效率关键创新在于针对ISTS特性优化表示适配与建模逻辑。输入嵌入层通过时间、变量、值、掩码等嵌入器组合将不同表示的ISTS对齐到PLM语义空间时间嵌入器以线性项与正弦函数编码时序特征变量嵌入器映射变量信息值与掩码嵌入器则适配不同数据形态。PLM骨干模块设计时间感知PLM替换位置嵌入解决序列内非规则性并为序列式表示新增变量感知PLM捕捉变量相关性针对集合式、向量式、序列式表示分别设计排序整合、值掩码融合、单变量建模后关联分析的流程。任务输出层按需适配分析需求分类任务通过线性层与Softmax输出类别概率优化交叉熵损失插值与外推任务结合查询时间与模型特征经MLP预测取值并优化均方误差损失实现对多类IST S任务的统一处理。实验结果基于序列式表示的 ISTS-PLM 在 7 个跨领域数据集上于分类、插值、外推任务中均优于 18 种基线模型如 P12 数据集分类 AUROC 达 87.6%PhysioNet 数据集插值 MSE 仅 4.55×10⁻³。下表是在分类任务上的结果对比泛化能力在 10% 训练数据的少样本场景及跨 ICU 类型 / 年龄组的零样本场景中性能始终领先且鲁棒性更强。效率优势隐藏维度 768 时训练参数仅 127K训练与推理效率优于多数基线模型。结论研究首次系统探索PLMs在ISTS分析中的应用提出的序列式表示和ISTS-PLM框架有效解决了ISTS的非规则性与异步性难题在多任务、多领域中均实现最优性能为非规则时间序列分析提供了高效通用的解决方案。大家可以关注我【科学最top】第一时间follow时序高水平论文解读获取时序论文合集