九江网站建设九江,杨幂做的网站广告,网站导航这么做,个人衣服定制店铺Single number evaluation metric
建一个评估指标。可以是准确率、召回率、F1 score。
Satisficing and Optimizing metric
很多时候我们需要协调多个因素#xff0c;达到自己的目的。例如猫分类器#xff0c;我们想要准确率#xff0c;又想要运行时间快。这个时候我们可…Single number evaluation metric
建一个评估指标。可以是准确率、召回率、F1 score。
Satisficing and Optimizing metric
很多时候我们需要协调多个因素达到自己的目的。例如猫分类器我们想要准确率又想要运行时间快。这个时候我们可以设立一个目标scoreaccuracy-0.5*runtime。我们非常在意想要非常非常高的那个指标称为Optimizing metric这里准确率就是。那些我们认为达到一定值就可以的指标称为Satisficing metric。例如运行时间只要在100ms之内至于是80ms还是90ms都可以。
关于训练集
数据集分为训练集、交叉验证集、测试集。每个数据集的数据分布应该是相同的。 在数据量百万以下训练集/测试集7/3训练集/交叉验证集/测试集6/2/2。 如果数据量非常大大于百万则可以训练集/交叉验证集/测试集98/1/1。
交叉验证集(dev set)目的是用来调整模型参数。
测试集的目的是在模型训练完成应用在实际系统前评估一下模型的优劣给自己增加自信心。一般来讲10,000训练样本或者100,000训练样本足以。如果你对这个值非常非常看重可以增加测试集的样本量。
参考文献 1 文章内容来源于Structuring Machine Learning Projects.
