企业官网建设流程全解析

猎头用什么网站做单,黄骅市天气预报15天气,一个人看的视频在线观看动漫,网站规划设计方案PatchTST模型无监督、自监督#xff08;Patch Time series Transformer#xff09;时间序列预测。 单输入单输出#xff0c;多输入多输出#xff0c;精度极高。 该模型基于基础transformer模型进行魔改#xff0c;主要的贡献有三个#xff1a; 1.通过Patch来缩短序列长度…PatchTST模型无监督、自监督Patch Time series Transformer时间序列预测。 单输入单输出多输入多输出精度极高。 该模型基于基础transformer模型进行魔改主要的贡献有三个 1.通过Patch来缩短序列长度表征序列的局部特征。 2.Channel Independent的方式来处理多个单维时间序列 3.更自然的Self-Supervised 方式最近在时间序列预测的圈子里有个叫PatchTST的模型突然火了起来。这玩意儿在电力预测、销量预测这些需要处理长周期波动的场景里表现贼溜关键是不需要标注数据就能玩转。作为一个常年和时序数据死磕的老司机我连夜扒了它的源码发现这哥们儿可不止是Transformer的简单套用。先看它的核心杀器——时间序列打补丁。传统方法处理长序列就像用吸管喝珍珠奶茶总有几个珍珠关键信息卡住吸不上来。PatchTST直接上剪刀把时间轴切成带重叠的块比如24小时数据切成6小时一块滑动步长4小时。代码里这个操作贼直观class PatchEmbedding(nn.Module): def __init__(self, seq_len512, patch_size24, stride8): super().__init__() self.num_patches (seq_len - patch_size) // stride 1 self.proj nn.Conv1d(1, 128, kernel_sizepatch_size, stridestride) def forward(self, x): return self.proj(x).permute(0, 2, 1) # 输出形状[batch, num_patches, 128]这卷积操作相当于用滑动窗口提取局部特征比原始Transformer的全局注意力省了80%的计算量。有意思的是他们的重叠设计相邻补丁之间有部分数据重合就像拍全景照片时留点重叠区域防止关键特征被切碎。第二个骚操作是通道独立处理。假设你要预测10个关联性不强的指标比如不同商品的销量传统多变量模型容易学歪。PatchTST给每个通道单独搞了个Transformer代码实现上就是个并行处理class ChannelIndependentWrapper(nn.Module): def __init__(self, model, num_channels): super().__init__() self.models nn.ModuleList([model() for _ in range(num_channels)]) def forward(self, x_list): # x_list是各个通道的数据列表 return torch.stack([m(x) for m, x in zip(self.models, x_list)], dim1)这设计看似简单粗暴但在实际业务场景中非常实用。比如预测连锁店各分店的销售额时北京分店和上海分店的销售规律可能差异很大强行混在一起训练反而效果打折。自监督预训练才是真·黑科技。他们的mask策略不像BERT那样随机盖token而是整块整块地mask时间片段def random_masking(x, mask_ratio0.5): B, L, D x.shape len_keep int(L * (1 - mask_ratio)) noise torch.rand(B, L, devicex.device) ids_shuffle torch.argsort(noise, dim1) ids_restore torch.argsort(ids_shuffle, dim1) x_masked torch.gather(x, dim1, indexids_shuffle[:, :len_keep].unsqueeze(-1).expand(-1, -1, D)) return x_masked, ids_restore这个mask操作让模型必须根据前后时间块来推理被遮盖的内容相当于提前学会了时间序列的上下文理解能力。在实际业务数据上我试过先用30%的数据做自监督预训练再用全量数据微调效果比直接监督学习高了7个点。实测环节更有意思。用某新能源车充电桩的功率数据做测试24小时预测任务中PatchTST相比传统的Informer误差降低了23%。更绝的是在处理突发波动时比如下午三点突然有个充电高峰传统模型往往滞后响应而PatchTST能提前1-2个时间单位捕捉到趋势变化——这可能得益于patch机制对局部特征的敏感捕捉。不过这个模型也不是银弹。当遇到超高频数据比如秒级采样的股票数据时直接使用默认的patch设置会丢失细节特征。这时候需要魔改下patch_size和stride参数或者叠加深层CNN来辅助特征提取。但总体而言这种兼顾效率和精度的设计思路确实为时间序列预测打开了新姿势。