广州市网站建设在哪里,怎么一键打开wordpress,郑州网站排名外包,小制作的制作过程摘要#xff1a; 想要成为数据科学家#xff1f;知道这十几种机器学习算法吗#xff1f;赶快来了解一下吧#xff0c;文中附各种算法的资源地址#xff01;
机器学习从业者都有不同的个性#xff0c;虽然其中一些人会说“我是X方面的专家#xff0c;X可以训练任何类型的…摘要 想要成为数据科学家知道这十几种机器学习算法吗赶快来了解一下吧文中附各种算法的资源地址
机器学习从业者都有不同的个性虽然其中一些人会说“我是X方面的专家X可以训练任何类型的数据”其中X是某种算法。但是我们不得不承认的是在现实生活当中不存在一个X可以训练任何类型的数据。某些算法落实到某些行业中是适合的但到了那个行业就变得不适合了。
在数据科学界存在一个共识作为数据科学家我们必须尽可能多的了解通用的及其学习算法。这样我们才能在面临不同行业的问题时有更多的解决方案。本文对通用的机器学习算法进行了简要的阐述并提供了关于他们的相关资源从而帮助你能够快速掌握其中的奥妙。
1.主成分分析PCA/ SVD
PCA是一种无监督的方法用于理解由矢量组成的数据集的全局属性。在这里我们着重分析数据点的协方差矩阵以了解哪些维度/数据点更重要即它们之间具有高度的协变性但与其他变量之间的协变性较低。考虑矩阵顶级主成分PC的一种方式是考虑具有最高特征值的特征向量。奇异值分解SVD本质上也是一种计算有序组件的方法但你不需要获得点的协方差矩阵就可以得到它。这种算法通过获得维度缩小的数据点来帮助人们克服维度的诅咒
库地址
https://docs.scipy.org/doc/scipy/reference/generated/scipy.linalg.svd.html
http://scikit-learn.org/stable/modules/generated/sklearn.decomposition.PCA.html
入门教程
https://arxiv.org/pdf/1404.1100.pdf
2.最小二乘法和多项式拟合
还记得在大学里的数值分析课程吗你可以使用它们来拟合机器学习中的具有低维度的小型数据集的曲线。而对于具有多维的大数据或数据集你可能最终会过度拟合。OLS有一个封闭式的解决方案因此你无需使用复杂的优化技术。上图很明显使用这种算法可以拟合简单的曲线/回归
库地址
https://docs.scipy.org/doc/numpy/reference/generated/numpy.linalg.lstsq.html https://docs.scipy.org/doc/numpy-1.10.0/reference/generated/numpy.polyfit html的
入门教程
https://lagunita.stanford.edu/c4x/HumanitiesScience/StatLearning/asset/linear_regression.pdf
3.约束线性回归
最小二乘法可能会与异常值假字段和数据中的噪声混淆。因此我们需要约束来减少数据集上拟合产生的线方差。做到这一点的方法是拟合线性回归模型以确保权重不会有误。模型可以有L1范数LASSO或L2Ridge Regression或两者兼具。通过这种方法就可以使均方损失得到优化。使用这个算法来拟合具有约束条件的回归线可以避免过度拟合和掩盖模型中的噪音维度。
库地址
http://scikit-learn.org/stable/modules/linear_model.html
入门教程
https://www.youtube.com/watch?v5asL5Eq2x0A
https://www.youtube.com/watch?vjbwSCwoT51M
4.K均值聚类
大多数机器学习从业者都喜欢无监督聚类算法。给定一组矢量形式的数据点我们可以根据它们之间的距离制作点集群。这是一个期望最大化算法它迭代地移动聚类中心然后聚焦每个聚类中心点。该算法所采用的输入是将要生成的簇的数量以及它将尝试聚集簇的迭代次数。从名字上可以明显看出你可以使用此算法在数据集中创建K个群集。
库地址
http://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html
入门教程
https://www.youtube.com/watch?vhDmNF9JG3lo
https://www.datascience.com/blog/k-means-clustering
5.Logistic回归
Logistic回归是线性回归在拥有权重后带有非线性主要使用sigmoid函数或者使用tanh函数应用因此把输出限制接近/-类对于sigmoid为1和0。交叉熵损失函数使用梯度下降进行优化。初学者注意Logistic回归是用于分类的而不是回归。你也可以将Logistic回归看作单层神经网络。使用梯度下降或L-BFGS等优化方法对Logistic回归进行训练。从事NLP的人经常会以最大熵分类器的名称来使用它。
这是一个Sigmoid的样子库地址
http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html
入门教程
https://www.youtube.com/watch?v-la3q9d7AKQ
6.支持向量机SVM
支持向量机是线性/逻辑回归的线性模型区别在于它们具有不同的基于边界的损失函数支持向量的推导是我观察到的与特征值计算在一起的最美妙的数学结果之一。你可以使用L-BFGS甚至SGD等优化方法优化损失函数。SVM的另一个创新是向数据工程师提供数据内核。如果你具有良好的洞察力你可以用更聪明的RBF内核替换旧的RBF内核。
SVM可以做到的事情是学习一个类分类器。
支持向量机可以用来训练分类器甚至是回归器regressors。
库地址
http://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html
入门教程
https://www.youtube.com/watch?veHsErlPJWUU
注意基于SGD的Logistic回归和SVM的训练可以在我经常使用的SKLearn中找到因为它可以让我用一个通用接口来检查LR和SVM。
7.前馈神经网络FFNN
这可以算的上是多层Logistic回归分类器。许多权重层被非线性S形tanhrelu softmax和selu分开了。它另外一个的名字是多层感知器。FFNN可用于自动编码器的分类和无监督特征学习。多层感知器FFNN作为自动编码器
可以使用FFNN作为自动编码器训练分类器或用来特征提取。
库地址
http://scikit-learn.org/stable/modules/generated/sklearn.neural_network.MLPClassifier.html#sklearn.neural_network.MLPClassifier
http://scikit-learn.org/stable/modules/generated/sklearn.neural_network.MLPRegressor.html
https://github.com/keras-team/keras/blob/master/examples/reuters_mlp_relu_vs_selu.py
入门教程
http://www.deeplearningbook.org/contents/mlp.html
http://www.deeplearningbook.org/contents/autoencoders.html
http://www.deeplearningbook.org/contents/representation.html
8.卷积神经网络Convnets
几乎当今世界上所有的最先进的基于视觉的机器学习结果都是使用卷积神经网络实现的。它们可用于图像分类、对象检测和图像分割。它是由Yann Lecun在80年代末90年代初发明的Convnets具有卷积层作为分层特征提取器。你也可以在文本中使用它们甚至是图表。利用CNN对图像和文本分类目标检测图像分割的过程。
库地址
https://developer.nvidia.com/digits
https://github.com/kuangliu/torchcv
https://github.com/chainer/chainercv
https://keras.io/applications/
入门教程
http://cs231n.github.io/
https://adeshpande3.github.io/A-Beginner%27s-Guide-To-Understanding-Convolutional-Neural-Networks/
9.递归神经网络RNNS
RNN模型序列通过在时间t递归地对聚集器状态施加相同的权重集并且在时间t输入给定序列在时间t处具有输入并且在每个时间t具有隐藏状态这是从RNN的t-1步输出的。现在很少使用纯RNN但是像LSTM和GRU这样的同类模型在大多数序列建模任务中是最先进的。RNN如果存在密集连接的单元和非线性则现在的f通常是LSTM或GRU。LSTM单元用于替代纯RNN中的简单致密层。将RNN用于时间序列建模任务特别是文本分类机器翻译和语言建模。
库地址
https://github.com/tensorflow/models来自Google的许多不错的NLP研究论文都在这里
https://github.com/wabyking/TextClassificationBenchmark
http://opennmt.net/
入门教程
http://cs224d.stanford.edu/
http://www.wildml.com/category/neural-networks/recurrent-neural-networks/
http://colah.github.io/posts/2015-08-Understanding-LSTMs/
10.条件随机字段CRFS
CRF可能是概率图形模型PGM系列中最常用的模型。它们用于像RNN一样的序列建模也可以与RNN结合使用。在神经机器翻译系统进入CRF之前它们是最先进的技术并且在许多具有小数据集的序列标记任务中他们仍然表现的比RNN更好。它们也可以用于其他结构化预测任务如图像分割等。CRF对序列中的每个元素比如句子进行建模使得近邻影响序列中某个组件的标签而不是所有标签都彼此独立。
使用CRF标记序列文本、图像、时间序列、DNA等。
库地址
https://sklearn-crfsuite.readthedocs.io/en/latest/
入门教程
http://blog.echen.me/2012/01/03/introduction-to-conditional-random-fields/
https://www.youtube.com/watch?vGF3iSJkgPbA
11.决策树
比方说我给了一张有关各种水果数据的Excel工作表我必须标注这是苹果那是其他类型的水果。那么如果我要提出一个问题是“哪些水果是红色的那些事圆形的”并且将所有回答用“是”和“否”来表示。现在所有的红色的和圆形的水果可能不是苹果所有的苹果也都不会是红色和圆形的。所以我会问一个问题“哪些水果有红色或黄色的提示“红色且为圆形的水果并会问“哪些水果是绿色且圆形的而不是红色和圆形水果基于这些问题我可以等到准确的答案——苹果。这个问题的解决方式就是使用决策树。但是这是基于我的直觉的决策树。直觉不能处理高维和复杂的数据。我们必须通过查看标记数据自动提出问题的级联这就是基于机器学习的决策树所做的。像CART树这样的早期版本只能用于简单的数据但是对于越来越大的数据集偏差-方差的权衡需要通过更好的算法来解决。现在使用的两种常见决策树算法是随机森林在其属性的随机子集上构建不同的分类器并将它们组合以用于输出和增强树Boosting Trees在其他树的基础上对树的级联进行训练纠正它们下面的树的错误。
决策树可以用来分类数据点甚至是回归。
图书馆
http://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html
http://scikit-learn.org/stable/modules/generated/sklearn.ensemble.GradientBoostingClassifier.html
http://xgboost.readthedocs.io/en/latest/
https://catboost.yandex/
入门教程
http://xgboost.readthedocs.io/en/latest/model.html
https://arxiv.org/abs/1511.05741
https://arxiv.org/abs/1407.7502
http://education.parrotprediction.teachable.com/p/practical-xgboost-in-python
以上是你可以学习成为数据科学家的十种机器学习算法。
本文由阿里云云栖社区组织翻译。
文章原标题《10 Machine Learning Algorithms You Should Know to Become a Data Scientist》
作者Shashank Gupta
译者虎说八道审校。
原文链接 干货好文请关注扫描以下二维码
