基于深度迁移学习进行时间序列分类

  • 时间:
  • 浏览:1
  • 来源:大发快三代理—大发大发彩票app

3. 在确定正确的源域上,有时,随机确定的效果不可以 比经过作者的辦法 计算出来的要差。这说明,计算领域类事性的辦法 还有待加强。

经过类事度计算,还必须针对 n 个数据集,得到一三个多 n×n 的类事性矩阵。此矩阵表示了不同数据集之间的类事度。类事度高的一三个多数据集,迁移效果最好。

本文作者:王晋东

论文辦法

通常来说,用传统的机器学习辦法 (类事 KNN、DTW)进行时间序列分类能取得比较好的效果。刚刚,基于深层网络的时间序列分类往往在大数据集还必须够打败传统辦法 。被委托人面,深层网络必须依赖于极少量的训练数据,刚刚精度也无法超过传统机器学习辦法 。在这人 情況下,进行数据增强、收集更多的数据、实用集成学习模型,全部可以 提高精度的辦法 。这其中,迁移学习也还必须被用在数据标注不足英文的情況。

总结

本文利用极少量的时间序列进行了深层迁移学习分类的实验。用众多的实验结果证明了迁移学习对于时间序列分类的有效性。作者还提出了这人简单比较时间序列类事性从而确定源领域的辦法 。

实验

Fine-tune 的基本辦法 而是 ,不改变除 softmax 层以外的层的价值形式,只改变 softmax 层的构造。类事,预训练好的网络将会是一三个多分 5 类的网络,而目标领域则是一三个多 10 类的分类疑问。这事先,就必须改变预训练网络的 softmax 层,使之由原来的 5 层变为 10 层,以适应目标领域的分类。

在进行迁移学习前,一三个多重要的疑问而是 :给定一三个多目标域,如保确定至少的源领域?将会确定的源域与目标域类事性过小,则很将会造成负迁移。

刚刚,源领域和目标领域的网络相比,除最后一层外,许多都相同。当然,相同的每项,网络权重也相同。

网络的价值形式如下图所示。网络由 3 个卷积层、1 个全局池化层、和 1 个全连接层构成。使用全连接层的好处是,在进行不同输入长度序列的 fine-tune 时,不不须再额外设计池内化层。

然而,这人 辦法 具有很大的局限性。类事,它没人 考虑到数据集实物不同维度之间的关联性。作者被委托人也承认这人 辦法 不足英文好,刚刚将会大伙 的主要关注点是如保迁移,刚刚,并未在这人 方面多做文章。

实验非常充分,这里简要说一下每项结论:

从深层网络这人来看,有研究者注意到了,针对时间序列数据,深层网络提取到的价值形式,与 CNN 一样,具有类事性和继承性。刚刚,作者的假设而是 ,哪几种价值形式不而是 针对某一数据集具有特异性,也还必须被用在别的相关数据集。这就保证了用深层网络进行时间序列迁移学习的有效性。

网络迁移适配

与图像的区别而是 ,输入由图片加进了时间序列。注意到,图片往往具有一定的通道数(如常见的 R、G、B 三通道);时间序列全部可以 通道:即不同维的时间序列数据。最简单的即是1维序列,还必须认为是 1 个通道。多维时间序列则还必须认为是多个通道。

作者对整个网络全部可以 目标领域上进行了fine-tune,而全部可以 只fine-tune最后一层。将会以往的研究标明,在整个网络上进行 fine-tune,往往会比只 fine-tune 许多层效果好。

作者利用了 UCI 机器学习仓库中的 85 个时间序列分类数据集,构建了 7140 对迁移学习任务。为了进行没人 极少量的实验,大伙 用了来自英伟达的 1000 个 GPU(只想说,有钱真好)。

确定至少的源领域:数据集间类事性

原文发布时间为:2018-11-15

度量时间序列类事性的原来疑问是,如保度量不同维度的时间序列的类事性。作者提出把多维时间序列规约成每类由一维序列构成,刚刚利用 DTW(Dynamic Time Warping)来度量一三个多时间序列的类事性。

2. 同一三个多目标域,不同的源域,产生的迁移效果千差万别:总能找到许多领域,迁移效果比不迁移好;

本文基本辦法 与在图像上进行深层迁移一致:先在一三个多源领域上进行 pre-train,刚刚在目标领域上进行 fine-tune。

然而,与图像领域有较多的经典网络价值形式可确定不同,时间序列并没一三个多多公认的经典网络架构。刚刚,作者为了保证迁移的效果不不太差,确定了事先研究者提出的这人全卷积网络(FCN,Fully Convolutional Neural Network)。这人 网络将会在事先的研究中被证明具有较高的准确性和鲁棒性。

论文动机

在进行规约时,作者利用了之间研究者提出的 DTW Barycenter Averaging (DBA) [2] 辦法 进行了时间序列的规约。经过规约后,一三个多数据集便可度量类事性。

1. 利用迁移往往效果比不迁移好,刚刚,几乎不不对原来的网络产生负面作用;