女装网站建设规划书,网页设计属于什么行业,软件开发文档编写流程,平台和网站有什么区别单一数字评估指标(Single number evaluation metric)无论你是调整超参数#xff0c;或者是尝试不同的学习算法#xff0c;或者在搭建机器学习系统时尝试不同手段#xff0c;你会发现#xff0c;如果你有一个单实数评估指标#xff0c;你的进展会快得多#xff0c;它可以快…单一数字评估指标(Single number evaluation metric)无论你是调整超参数或者是尝试不同的学习算法或者在搭建机器学习系统时尝试不同手段你会发现如果你有一个单实数评估指标你的进展会快得多它可以快速告诉你新尝试的手段比之前的手段好还是差。所以当团队开始进行机器学习项目时我经常推荐他们为问题设置一个单实数评估指标。我们来看一个例子你之前听过我说过应用机器学习是一个非常经验性的过程我们通常有一个想法编程序跑实验看看效果如何然后使用这些实验结果来改善你的想法然后继续走这个循环不断改进你的算法。比如说对于你的猫分类器之前你搭建了某个分类器A通过改变超参数还有改变训练集等手段你现在训练出来了一个新的分类器B所以评估你的分类器的一个合理方式是观察它的查准率(precision也叫准确率)和查全率(recall 也叫召回率)。查准率和查全率的确切细节对于这个例子来说不太重要。但简而言之查准率的定义是在你的分类器标记为猫的例子中有多少真的是猫。所以如果分类器A有95%的查准率这意味着你的分类器说这图有猫的时候有95%的机会真的是猫。查全率就是对于所有真猫的图片你的分类器正确识别出了多少百分比。实际为猫的图片中有多少被系统识别出来如果分类器A查全率是90%这意味着对于所有的图像比如说你的开发集都是真的猫图分类器A准确地分辨出了其中的90%。所以关于查准率和查全率的定义不用想太多。事实证明查准率和查全率之间往往需要折衷两个指标都要顾及到。你希望得到的效果是当你的分类器说某个东西是猫的时候有很大的机会它真的是一只猫但对于所有是猫的图片你也希望系统能够将大部分分类为猫所以用查准率和查全率来评估分类器是比较合理的。但使用查准率和查全率作为评估指标的时候有个问题如果分类器A在查全率上表现更好分类器B在查准率上表现更好你就无法判断哪个分类器更好。如果你尝试了很多不同想法很多不同的超参数你希望能够快速试验不仅仅是两个分类器也许是十几个分类器快速选出“最好的”那个这样你可以从那里出发再迭代。如果有两个评估指标就很难去快速地二中选一或者十中选一所以我并不推荐使用两个评估指标查准率和查全率来选择一个分类器。你只需要找到一个新的评估指标能够结合查准率和查全率。在机器学习文献中结合查准率和查全率的标准方法是所谓的F_1分数F_1分数的细节并不重要。但非正式的你可以认为这是查准率P和查全率R的平均值。F_1分数的定义是这个公式2/(1/P1/R)在数学中这个函数叫做查准率P和查全率R的调和平均数。但非正式来说你可以将它看成是某种查准率和查全率的平均值只不过你算的不是直接的算术平均而是用这个公式定义的调和平均。这个指标在权衡查准率和查全率时有一些优势。但在这个例子中你可以马上看出分类器A的F_1分数更高。假设F_1分数是结合查准率和查全率的合理方式你可以快速选出分类器A淘汰分类器B。我发现很多机器学习团队就是这样有一个定义明确的开发集用来测量查准率和查全率再加上这样一个单一数值评估指标有时我叫单实数评估指标能让你快速判断分类器A或者分类器B更好。所以有这样一个开发集加上单实数评估指标你的迭代速度肯定会很快它可以加速改进您的机器学习算法的迭代过程。我们来看另一个例子假设你在开发一个猫应用来服务四个地理大区的爱猫人士美国、中国、印度还有世界其他地区。我们假设你的两个分类器在来自四个地理大区的数据中得到了不同的错误率比如算法A在美国用户上传的图片中达到了3%错误率等等。所以跟踪一下你的分类器在不同市场和地理大区中的表现应该是有用的但是通过跟踪四个数字很难扫一眼这些数值就快速判断算法A或算法B哪个更好。如果你测试很多不同的分类器那么看着那么多数字然后快速选一个最优是很难的。所以在这个例子中我建议除了跟踪分类器在四个不同的地理大区的表现也要算算平均值。假设平均表现是一个合理的单实数评估指标通过计算平均值你就可以快速判断。看起来算法C的平均错误率最低然后你可以继续用那个算法。你必须选择一个算法然后不断迭代所以你的机器学习的工作流程往往是你有一个想法你尝试实现它看看这个想法好不好。所以本次介绍的是有一个单实数评估指标真的可以提高你的效率或者提高你的团队做出这些决策的效率。现在我们还没有完整讨论如何有效地建立评估指标。在下一个笔记频中我会教你们如何设置优化以及满足指标~
