Transformer 很强，Transformer 很好超越，但 Transformer 正在收拾时序数据时存正在肯定的限造性。如估计丰富度高、对长序列数据收拾不敷高效等题目。
于是乎，蚂蚁同清华连合推出一种纯 MLP 架构的模子TimeMixer，正在时序预测上的功能和出力两方面总共超越了 Transformer 模子。
他们连结对时序趋向周期特质的领悟以及多标准搀杂的安排形式，不只正在是非程预测功能上大幅擢升，况且基于纯 MLP 架构达成了挨近于线性模子的极高效能。
TimeMixer 模子采用了一个多标准搀杂架构，旨正在处置光阴序列预测中的丰富光阴变动题目。
个中 PDM 模块，掌管提取过去的讯息并将区别标准上的季候性和趋向组分划分搀杂。
PDM 以季候和趋向搀杂为动力，将注意的季候讯息由细到粗渐渐咸集，并运用较粗标准的先验常识深切开掘宏观趋向讯息，最终达成过去讯息提取中的多标准搀杂。
FMM 则是多个预测器的齐集，个中区另表预测器基于区别标准的过去讯息，使 FMM 可以集成搀杂多标准序列的互补预测功效。
为了验证 TimeMixer 的功能，团队正在包蕴长程预测，短程预测，多元时序预测以及拥有时空图组织的 18 组基准数据集前实行了实习，囊括电力负荷预测、情景数据预测和股票价值预测等。
实习结果注脚，TimeMixer 正在多个目标上总共超越了现时最前辈的 Transformer 模子，实在发扬如下：
预测精度：正在统统测试的数据集上，TimeMixer 均发扬出更高的预测精度。以电力负荷预测为例，TimeMixer 比拟于 Transformer 模子，均匀绝对差错（MAE）低落了约 15%，均方根差错（RMSE）低落了约 12%。
估计效能：得益于 MLP 组织的高效估计特质超越，TimeMixer 正在磨练光阴和推理光阴上均明显优于 Transformer 模子超越。实习数据显示，正在相仿硬件条款下，TimeMixer 的磨练光阴节减了约 30%，推理光阴节减了约 25%。
泛化才力：正在多个区别类型的数据集前实行测试，TimeMixer 均发扬出优异的泛化才力，可以适当区另表数据散布和特质。这注脚 TimeMixer 正在现实利用中拥有普遍的合用性。
长程预测：为了确保模子对照的公道性，行使圭臬化参数实行实习超越，调动输入长度、批量巨细和磨练周期。别的，鉴于各式探索的结果经常源于超参数优化超越，该探索还囊括了归纳参数探寻的结果。
模子效能：团队将磨练阶段的运转内存和光阴与最新最前辈的模子实行对照，个中 TimeMixer 正在 GPU 内存和运转光阴方面，对待各式系列长度（范畴从 192 到 3072）永远发扬出优异的效能），别的还拥有历久和短期预测使命相仿的最前辈功能。
值得留神的是，TimeMixer 动作深度模子，正在效能方面发扬出挨近全线性模子的结果。这使得 TimeMixer 正在各式需求高模子效能的场景中大有前程超越。
好了，TimeMixer 为时序预测范围带来了新的思绪，也显现了纯 MLP 组织正在丰富使掷中的潜力。
另日，跟着更多优化本领和利用场景的引入，信托 TimeMixer 将进一步激动时序预测本领的开展，为各行业带来更大的价格。
本项目取得了蚂蚁集团智能引擎工作部旗下 AI 改进研发部分 NextEvo 帮帮。
蚂蚁集团 NextEvo-优化智能团队掌管蚂蚁运筹优化、时序预测以及预测优化相连结的智能决议等本领目标，团队职业涵盖算法本领、平台效劳和处置计划的研发。
告白声明：文内含有的对表跳转链接（囊括不限于超链接、二维码、口令等局势），用于传达更多讯息，节流甄选光阴，结果仅供参考，IT之家统统作品均包蕴本声明。统统超越赶上 Transformer：清华蚂蚁推出纯 MLP 架构是非程时序预测大幅晋升
