Representation + IL: Policy Contrastive Imitation Learning
ICML 2023
paper
采用对比学习对状态动作联合表征，并基于表征函数实现奖励函数重构
method
对比学习目标函数如下：
问题：最小化该损失函数，第一项少了一个负号
得到表征函数
Φ
\Phi
Φ，通过计算真是样本与专家样本在表征后的余弦相似度，作为奖励函数（表征越相似，奖励越大）：
实践中，由于 Φ 频繁更新，计算期望值可能会很耗时。因此使用随机专家样本来计算奖励。最后基于DrQ-v2算法训练策略
结果
基于表征的奖励函数对比GAIL：
原文地址：https://blog.csdn.net/wdnmdwsmsa/article/details/144436521
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！