自学内容网 自学内容网

2024年7月16日~2024年7月22日周报

目录

一、前言

二、完成情况

2.1 数据训练的方式

2.1.1 迁移学习

2.1.2 域自适应学习

2.1.3 多任务学习

2.1.4 持续学习

2.2 论文写作技巧

三、下周计划


一、前言

        上周参加了闵老师组织的机器学习培训讨论会,收获颇丰。

        本周参加了一些师兄师姐的论文讨论会议,对撰写论文中的很多细节和注意事项有了更加明确的认识。通过交流,我对论文结构、逻辑等关键内容有了更深的理解,学到了一些实用的写作技巧。另外,完成了论文初稿。

二、完成情况

2.1 数据训练的方式

2.1.1 迁移学习

        迁移学习允许模型将在一个任务(源任务)上学到的知识应用到另一个相关或不同的任务(目标任务)中,通过知识迁移(如模型参数、特征表示、数据关系等)来实现。该方法在数据稀缺、计算资源有限或领域迁移等情况下尤为有用,因为它能够显著减少对大量标记数据的需求,并加速模型在新任务上的学习过程。

  • 源任务:指迁移学习中的原始任务,通常具有充足的数据和训练好的模型。
  • 目标任务:指需要利用源任务知识来改进学习效果的任务。

        核心原理:

  1. 知识迁移:迁移学习的核心在于将源任务中学到的知识迁移到目标任务中。这种迁移可以是显式的(如直接复用预训练模型的参数)或隐式的(如通过学习到的特征表示进行迁移)。
  2. 相似性评估:在进行迁移之前,需要评估源任务和目标任务之间的相似性。相似性越高,迁移学习的效果通常越好。这种相似性可以基于数据的分布、特征的一致性、模型的架构或任务的本质等方面进行评估。
  3. 模型适应:在将源任务的知识迁移到目标任务时,可能需要对模型进行一定的适应或调整。这包括微调模型的参数、调整模型的结构或添加新的层等,以适应目标任务的特定需求和数据分布。

2.1.2 域自适应学习

        域自适应学习(Domain Adaptation Learning)旨在解决训练样本和测试样本概率分布不一致的问题。这是一种迁移学习方法,它利用从一个或多个源域(具有大量标记数据的领域)学到的知识,来提高在目标域(标记数据不足或没有的领域)上的模型性能。 

        基本思想:寻找源域和目标域之间的共同潜在因素,并通过一定的方法使它们在新的特征空间下分布相似或相同,从而实现在目标域上的良好性能。这通常涉及将源域和目标域的数据映射到一个新的特征空间中,并在这个空间下寻找合适的度量准则或模型参数。

域自适应学习的方法可以大致分为以下几类:

  1. 样例加权域自适应学习:对训练样本附加权值,使加权后的训练样本的概率分布逼近目标域的概率分布,如重要性抽样、核均值匹配和Ad-aBoost等。
  2. 特征表示域自适应学习:将样例映射到新的特征空间中,通过选择合适的特征表示方式,使源域和目标域在新的特征空间下的分布相同或尽可能相同。基于特征表示的域自适应学习算法包括基于核映射函数的方法(如最小化均值偏差和离散度偏差)、结构对应学习、协同聚类、维数约简和迁移分量分析等。
  3. 基于特征和参数分解的域自适应学习:对特征和模型参数进行分解,以处理域自适应学习问题。分解方法包括增广特征和模型参数分解两种形式。

2.1.3 多任务学习

        见之前的周报:2024年3月30日~2024年4月7日周报_m-rudsr网络-CSDN博客

2.1.4 持续学习

        持续学习是指模型在接收到新的数据时,能够不断更新模型,而不需要重新训练整个模型。这要求模型在适应新任务的同时,保持对旧任务的记忆。模型的可持续性(Model Continuity)是持续学习的关键。它指的是模型在连续接收新数据时,能够持续更新自身,而无需从头开始训练。

        持续学习的算法步骤主要包括以下几个步骤:

  1. 初始化神经网络的权重。
  2. 对于每一个任务,先使用旧任务的数据,训练神经网络,学习旧任务的知识。
  3. 接着,使用新任务的数据,训练神经网络,学习新任务的知识。在这个过程中,需要保留旧任务的知识,避免遗忘。
  4. 重复上述步骤,直到所有的任务都学习完毕。

2.2 论文写作技巧

        论文写作中的一些小tips:

  1. 在文中尽量介绍介词的使用,介词使用越多越容易出现错误,也可能给读者造成误解;
  2. 始终牢记:论文是树型的,而不是线性的;
  3. 文中不要出现recently,因为计算机的发展很快,这个时间无法鉴定;
  4. 在介绍本文工作的时候,要先介绍 how-怎么样,再介绍 what-取得了什么效果或原因;
  5. 最重要的东西需要放在前面最显眼的位置;
  6. 除了摘要、引言和结论部分外,不要写 In this paper;
  7. 文中的句子不要太长,一般不超过20个单词;

三、下周计划

  1. 思考是否能够提取出第三个创新点;
  2. 搭建实验部分框架,继续完成实验,填入数值;
  3. 收集文献,完成相关工作部分的写作;


原文地址:https://blog.csdn.net/m0_53096519/article/details/140609413

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!