电商网站开发用什么软件好,phpmysql网站,石家庄自动seo,上海工商营业执照查询官网线性回归输出是一个连续值#xff0c;因此适用于回归问题。回归问题在实际中很常见#xff0c;如预测房屋价格、气温、销售额等连续值的问题。
一、基本要素
摘自原书
模型定义
设房屋的面积为 x1#xff0c;房龄为 x2#xff0c;售出价格为 y。我们需要建立基于输入 x…线性回归输出是一个连续值因此适用于回归问题。回归问题在实际中很常见如预测房屋价格、气温、销售额等连续值的问题。
一、基本要素
摘自原书
模型定义
设房屋的面积为 x1房龄为 x2售出价格为 y。我们需要建立基于输入 x1 和 x2 来计算输出 y 的表达式也就是 模型model 。顾名思义线性回归假设输出与各个输入之间是线性关系 其中 w1 和 w2 是 权重weightb 是 偏差bias且均为标量。它们是线性回归模型的 参数parameter。模型输出 yˆ 是线性回归对真实价格 y 的预测或估计。我们通常允许它们之间有一定误差。
模型训练
我们需要通过数据来寻找特定的模型参数值使模型在数据上的误差尽可能小。这个过程叫作 模型训练model training包含三个要素
训练数据
我们通常收集一系列的真实数据例如多栋房屋的真实售出价格和它们对应的面积和房龄。我们希望在这个数据上面寻找模型参数来使模型的预测价格与真实价格的误差最小。在机器学习术语里该数据集被称为 训练数据集training data set 或 训练集training set 一栋房屋被称为一个 样本sample 其真实售出价格叫作 标签label 用来预测标签的两个因素叫作 特征feature。特征用来表征样本的特点。
损失函数
在模型训练中我们需要衡量价格预测值与真实值之间的误差。通常我们会选取一个非负数作为误差且数值越小表示误差越小。一个常用的选择是平方函数。它在评估索引为 i 的样本误差的表达式为 其中常数 1/2 使对平方项求导后的常数系数为1这样在形式上稍微简单一些。显然误差越小表示预测价格与真实价格越相近且当二者相等时误差为0。给定训练数据集这个误差只与模型参数相关因此我们将它记为以模型参数为参数的函数。在机器学习里将衡量误差的函数称为 损失函数loss function 。这里使用的平方误差函数也称为 平方损失square loss 。 通常我们用训练数据集中所有样本误差的平均来衡量模型预测的质量即
优化算法
当模型和损失函数形式较为简单时上面的误差最小化问题的解可以直接用公式表达出来。这类解叫作 解析解analytical solution 。本节使用的线性回归和平方误差刚好属于这个范畴。然而大多数深度学习模型并没有解析解只能通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。这类解叫作 数值解numerical solution。
在求数值解的优化算法中小批量随机梯度下降mini-batch stochastic gradient descent 在深度学习中被广泛使用。它的算法很简单先选取一组模型参数的初始值如随机选取接下来对参数进行多次迭代使每次迭代都可能降低损失函数的值。在每次迭代中先随机均匀采样一个由固定数目训练数据样本所组成的小批量mini-batchB然后求小批量中数据样本的平均损失有关模型参数的导数梯度最后用此结果与预先设定的一个正数的乘积作为模型参数在本次迭代的减小量。
在训练本节讨论的线性回归模型的过程中模型的每个参数将作如下迭代 模型预测 二、线性回归的表示方法
如果我们对训练数据集里的3个房屋样本索引分别为1、2和3逐一预测价格 现在我们将上面3个等式转化成矢量计算。设 对3个房屋样本预测价格的矢量计算表达式为yˆXwb, 其中的加法运算使用了 广播机制
