上海专业网站设计,网站制作和推广,怎样建设简单的网站,网站服务器地址查询一只小狐狸带你解锁 炼丹术NLP 秘籍来源#xff1a;机器之心什么是小样本学习#xff1f;它与弱监督学习等问题有何差异#xff1f;其核心问题是什么#xff1f;来自港科大和第四范式的这篇综述论文提供了解答。数据是机器学习领域的重要资源#xff0c;在数据缺少的… 一只小狐狸带你解锁 炼丹术NLP 秘籍来源机器之心什么是小样本学习它与弱监督学习等问题有何差异其核心问题是什么来自港科大和第四范式的这篇综述论文提供了解答。数据是机器学习领域的重要资源在数据缺少的情况下如何训练模型呢小样本学习是其中一个解决方案。来自香港科技大学和第四范式的研究人员综述了该领域的研究发展并提出了未来的研究方向。这篇综述论文已被 ACM Computing Surveys 接收作者还建立了 GitHub repo用于更新该领域的发展。论文地址https://arxiv.org/pdf/1904.05046.pdfGitHub 地址https://github.com/tata1661/FewShotPapers机器学习在数据密集型应用中取得了很大成功但在面临小数据集的情况下往往捉襟见肘。近期出现的小样本学习Few-Shot LearningFSL方法旨在解决该问题。FSL 利用先验知识能够快速泛化至仅包含少量具备监督信息的样本的新任务中。这篇论文对 FSL 方法进行了综述。首先该论文给出了 FSL 的正式定义并厘清了它与相关机器学习问题弱监督学习、不平衡学习、迁移学习和元学习的关联和差异。然后指出 FSL 的核心问题即经验风险最小化方法不可靠。基于各个方法利用先验知识处理核心问题的方式该研究将 FSL 方法分为三大类数据利用先验知识增强监督信号模型利用先验知识缩小假设空间的大小算法利用先验知识更改给定假设空间中对最优假设的搜索。最后这篇文章提出了 FSL 的未来研究方向FSL 问题设置、技术、应用和理论。论文概览该综述论文所覆盖的主题见下图我们选取介绍了该综述论文中的部分内容详情参见原论文。什么是小样本学习FSL 是机器学习的子领域。我们先来看机器学习的定义计算机程序基于与任务 T 相关的经验 E 学习并得到性能改进性能度量指标为 P。基于此该研究将 FSL 定义为小样本学习是一类机器学习问题其经验 E 中仅包含有限数量的监督信息。下图对比了具备充足训练样本和少量训练样本的学习算法FSL方法分类根据先验知识的利用方式FSL方法可分为三类FSL 方法解决少样本问题的不同角度。基于此该研究将现有的 FSL 方法纳入此框架得到如下分类体系数据此类 FSL 方法利用先验知识增强数据 D_train从而扩充监督信息利用充足数据来实现可靠的经验风险最小化。如上图所示根据增强数据的来源这类 FSL 方法可分为以下三个类别模型基于所用先验知识的类型这类方法可分为如下四个类别算法根据先验知识对搜索策略的影响此类方法可分为三个类别文章最后从问题设置、技术、应用和理论四个层面探讨了小样本学习领域的未来发展方向。可能喜欢在深度学习顶会ICLR 2020上Transformer模型有什么新进展算法工程师的效率神器——vim篇推荐系统的价值观硬核推导Google AdaFactor一个省显存的宝藏优化器卖萌屋上线Arxiv论文速刷神器直达学术最前沿夕小瑶的卖萌屋_关注星标小夕带你解锁AI秘籍订阅号主页下方「撩一下」有惊喜哦
