2024年7月16日~2024年7月22日周报
目录
一、前言
上周参加了闵老师组织的机器学习培训讨论会，收获颇丰。
本周参加了一些师兄师姐的论文讨论会议，对撰写论文中的很多细节和注意事项有了更加明确的认识。通过交流，我对论文结构、逻辑等关键内容有了更深的理解，学到了一些实用的写作技巧。另外，完成了论文初稿。
二、完成情况
2.1 数据训练的方式
2.1.1 迁移学习
迁移学习允许模型将在一个任务（源任务）上学到的知识应用到另一个相关或不同的任务（目标任务）中，通过知识迁移（如模型参数、特征表示、数据关系等）来实现。该方法在数据稀缺、计算资源有限或领域迁移等情况下尤为有用，因为它能够显著减少对大量标记数据的需求，并加速模型在新任务上的学习过程。
- 源任务：指迁移学习中的原始任务，通常具有充足的数据和训练好的模型。
- 目标任务：指需要利用源任务知识来改进学习效果的任务。
核心原理：
- 知识迁移：迁移学习的核心在于将源任务中学到的知识迁移到目标任务中。这种迁移可以是显式的（如直接复用预训练模型的参数）或隐式的（如通过学习到的特征表示进行迁移）。
- 相似性评估：在进行迁移之前，需要评估源任务和目标任务之间的相似性。相似性越高，迁移学习的效果通常越好。这种相似性可以基于数据的分布、特征的一致性、模型的架构或任务的本质等方面进行评估。
- 模型适应：在将源任务的知识迁移到目标任务时，可能需要对模型进行一定的适应或调整。这包括微调模型的参数、调整模型的结构或添加新的层等，以适应目标任务的特定需求和数据分布。
2.1.2 域自适应学习
域自适应学习（Domain Adaptation Learning）旨在解决训练样本和测试样本概率分布不一致的问题。这是一种迁移学习方法，它利用从一个或多个源域（具有大量标记数据的领域）学到的知识，来提高在目标域（标记数据不足或没有的领域）上的模型性能。
基本思想：寻找源域和目标域之间的共同潜在因素，并通过一定的方法使它们在新的特征空间下分布相似或相同，从而实现在目标域上的良好性能。这通常涉及将源域和目标域的数据映射到一个新的特征空间中，并在这个空间下寻找合适的度量准则或模型参数。
域自适应学习的方法可以大致分为以下几类：
- 样例加权域自适应学习：对训练样本附加权值，使加权后的训练样本的概率分布逼近目标域的概率分布，如重要性抽样、核均值匹配和Ad-aBoost等。
- 特征表示域自适应学习：将样例映射到新的特征空间中，通过选择合适的特征表示方式，使源域和目标域在新的特征空间下的分布相同或尽可能相同。基于特征表示的域自适应学习算法包括基于核映射函数的方法（如最小化均值偏差和离散度偏差）、结构对应学习、协同聚类、维数约简和迁移分量分析等。
- 基于特征和参数分解的域自适应学习：对特征和模型参数进行分解，以处理域自适应学习问题。分解方法包括增广特征和模型参数分解两种形式。
2.1.3 多任务学习
见之前的周报：2024年3月30日~2024年4月7日周报_m-rudsr网络-CSDN博客
2.1.4 持续学习
持续学习是指模型在接收到新的数据时，能够不断更新模型，而不需要重新训练整个模型。这要求模型在适应新任务的同时，保持对旧任务的记忆。模型的可持续性（Model Continuity）是持续学习的关键。它指的是模型在连续接收新数据时，能够持续更新自身，而无需从头开始训练。
持续学习的算法步骤主要包括以下几个步骤：
- 初始化神经网络的权重。
- 对于每一个任务，先使用旧任务的数据，训练神经网络，学习旧任务的知识。
- 接着，使用新任务的数据，训练神经网络，学习新任务的知识。在这个过程中，需要保留旧任务的知识，避免遗忘。
- 重复上述步骤，直到所有的任务都学习完毕。
2.2 论文写作技巧
论文写作中的一些小tips：
- 在文中尽量介绍介词的使用，介词使用越多越容易出现错误，也可能给读者造成误解；
- 始终牢记：论文是树型的，而不是线性的；
- 文中不要出现recently，因为计算机的发展很快，这个时间无法鉴定；
- 在介绍本文工作的时候，要先介绍 how-怎么样，再介绍 what-取得了什么效果或原因；
- 最重要的东西需要放在前面最显眼的位置；
- 除了摘要、引言和结论部分外，不要写 In this paper；
- 文中的句子不要太长，一般不超过20个单词；
三、下周计划
- 思考是否能够提取出第三个创新点；
- 搭建实验部分框架，继续完成实验，填入数值；
- 收集文献，完成相关工作部分的写作；
原文地址：https://blog.csdn.net/m0_53096519/article/details/140609413
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！