建大型购物网站,wordpress 个人简介,百度一下官网入口,wordpress修改站点logo大小作者介绍#xff1a;Saurabh.jaju2Saurabh是一名数据科学家和软件工程师#xff0c;熟练分析各种数据集和开发智能应用程序。他目前正在加州大学伯克利分校攻读信息和数据科学硕士学位#xff0c;热衷于开发基于数据科学的智能资源管理系统。介绍许多数据科学家经常面对的问…作者介绍Saurabh.jaju2Saurabh是一名数据科学家和软件工程师熟练分析各种数据集和开发智能应用程序。他目前正在加州大学伯克利分校攻读信息和数据科学硕士学位热衷于开发基于数据科学的智能资源管理系统。介绍许多数据科学家经常面对的问题之一假设有一个包含数百个特征(变量)的数据集且对数据所属的域没有任何了解需要对该数据集识别其隐藏状态、探索并分析。本文将介绍一种非常强大的方法来解决该问题。关于PCA现实中大多数人会使用PCA进行降维和可视化但为什么不选择比PCA更先进的东西呢关于PCA的介绍可以阅读该文献。本文讲解比PCA(1933)更有效的算法t-SNE(2008)。本文内容1 什么是t-SNE2 什么是降维3 t-SNE如何在维数降低算法空间中拟合4 t-SNE算法的细节5 t-SNE实际上是做什么6 用例7 t-SNE与其他降维算法相比8 示例实现R语言Python语言数据科学家机器学习骇客数据科学爱好者10 常见错误1 什么是t-SNE(t-SNE)t分布随机邻域嵌入是一种用于探索高维数据的非线性降维算法。它将多维数据映射到适合于人类观察的两个或多个维度。2 什么是降维简而言之降维就是用2维或3维表示多维数据(彼此具有相关性的多个特征数据)的技术利用降维算法可以显式地表现数据。3 t-SNE如何在降维算法空间中拟合常用的降维算法有1 PCA(线性)2 t-SNE(非参数/非线性)3 Sammon映射(非线性)4 Isomap(非线性)5 LLE(非线性)6 CCA(非线性)7 SNE(非线性)8 MVU(非线性)9 拉普拉斯特征图(非线性)只需要研究上述算法中的两种——PCA和t-SNE。PCA的局限性PCA是一种线性算法它不能解释特征之间的复杂多项式关系。而t-SNE是基于在邻域图上随机游走的概率分布来找到数据内的结构。线性降维算法的一个主要问题是不相似的数据点放置在较低维度表示为相距甚远。但为了在低维度用非线性流形表示高维数据相似数据点必须表示为非常靠近这不是线性降维算法所能做的。4 t-SNE算法的细节4.1 算法步骤1随机邻接嵌入(SNE)通过将数据点之间的高维欧几里得距离转换为表示相似性的条件概率而开始数据点xi、xj之间的条件概率pj|i由下式给出其中σi是以数据点xi为中心的高斯方差。步骤2对于高维数据点xi和xj的低维对应点yi和yj而言可以计算类似的条件概率qj|iSNE试图最小化条件概率的差异。步骤3为了测量条件概率差的和最小值SNE使用梯度下降法最小化KL距离。而SNE的代价函数关注于映射中数据的局部结构优化该函数是非常困难的而t-SNE采用重尾分布以减轻拥挤问题和SNE的优化问题。步骤4定义困惑度其中H(Pi)是香农熵4.2 时间和空间复杂性算法计算对应的是条件概率并试图最小化较高和较低维度的概率差之和这涉及大量的计算对系统资源要求高。t-SNE的复杂度随着数据点数量有着时间和空间二次方。5 t-SNE实际上是做什么t-SNE非线性降维算法通过基于具有多个特征的数据点的相似性识别观察到的簇来在数据中找到模式。本质上是一种降维和可视化技术。另外t-SNE的输出可以作为其他分类算法的输入特征。6用例t-SNE几乎可用于所有高维数据集广泛应用于图像处理自然语言处理基因组数据和语音处理。实例有面部表情识别[2]、识别肿瘤亚群[3]、使用wordvec进行文本比较[4]等。7 t-SNE与其他降维算法相比基于所实现的精度将t-SNE与PCA和其他线性降维模型相比结果表明t-SNE能够提供更好的结果。这是因为算法定义了数据的局部和全局结构之间的软边界。8示例实现在MNIST手写数字数据库上实现t-SNE算法。“Rtsne”包在R中具有t-SNE的实现。“Rtsne”包可以使用在R控制台中键入的以下命令安装在R中超参数调整代码MNIST数据可从MNIST网站下载并可转换为具有少量代码的csv文件。## calling the installed packagetrainlibrary(Rtsne)## Curating the database for analysis with both t‐SNE and PCALabelstrain$label## for plottingcolors rainbow(length(unique(train$label)))names(colors) unique(train$label)## Executing the algorithm on curated datatsne exeTimeTsne0))## Plottingplot(tsne$Y, tn, maintsne)text(tsne$Y, labelstrain$label, colcolors[train$label])实现时间可以看出与PCA相比t-SNE在相同样本大小的数据上执行需要相当长的时间。解释结果以下图用于探索性分析。输出x和y坐标以及成本可以用作分类算法中的特征。2 Python语言t-SNE算法可以从sklearn包中访问。超参数调整代码以下代码来自sklearn网站上的sklearn示例。代码1实现时间## importing the required packagesfrom time import timeimport numpy as npimport matplotlib.pyplot as pltfrom matplotlib import offsetboxfrom sklearn import (manifold, datasets, decomposition, ensemble,discriminant_analysis, random_projection)## Loading and curating the datadigits datasets.load_digits(n_class10)X digits.datay digits.targetn_samples, n_features X.shapen_neighbors 30## Function to Scale and visualize the embedding vectorsdef plot_embedding(X, titleNone):x_min, x_max np.min(X, 0), np.max(X, 0)X (X ‐ x_min) / (x_max ‐ x_min)plt.figure()ax plt.subplot(111)for i in range(X.shape[0]):plt.text(X[i, 0], X[i, 1], str(digits.target[i]),colorplt.cm.Set1(y[i] / 10.),fontdict{weight: bold, size: 9})if hasattr(offsetbox, AnnotationBbox):## only print thumbnails with matplotlib 1.0shown_images np.array([[1., 1.]]) # just something bigfor i in range(digits.data.shape[0]):dist np.sum((X[i] ‐ shown_images) ** 2, 1)if np.min(dist) 4e‐3:## dont show points that are too closecontinueshown_images np.r_[shown_images, [X[i]]]imagebox offsetbox.AnnotationBbox(offsetbox.OffsetImage(digits.images[i], cmapplt.cm.gray_r),X[i])ax.add_artist(imagebox)plt.xticks([]), plt.yticks([])if title is not None:plt.title(title)#‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐## Plot images of the digitsn_img_per_row 20img np.zeros((10 * n_img_per_row, 10 * n_img_per_row))for i in range(n_img_per_row):ix 10 * i 1for j in range(n_img_per_row):iy 10 * j 1img[ix:ix 8, iy:iy 8] X[i * n_img_per_row j].reshape((8, 8))plt.imshow(img, cmapplt.cm.binary)plt.xticks([])plt.yticks([])plt.title(A selection from the 64‐dimensional digits dataset)## Computing PCAprint(Computing PCA projection)t0 time()X_pca decomposition.TruncatedSVD(n_components2).fit_transform(X)plot_embedding(X_pca,Principal Components projection of the digits (time %.2fs) %(time() ‐ t0))## Computing t‐SNEprint(Computing t‐SNE embedding)tsne manifold.TSNE(n_components2, initpca, random_state0)t0 time()X_tsne tsne.fit_transform(X)plot_embedding(X_tsne,t‐SNE embedding of the digits (time %.2fs) %(time() ‐ t0))plt.show()9 应用方面9.1数据科学家对于数据科学家来说使用t-SNE的主要问题是算法的黑盒类型性质。使用该算法的最佳方法是将其用于探索数据分析。9.2机器学习骇客将数据集缩减为2或3维并使用非线性堆栈器将其堆叠。可以使用XGboost提高t-SNE向量以获得更好的结果。9.3数据科学爱好者对于开始使用数据科学的数据科学爱好者来说这种算法在研究和性能增强方面提供了最好的机会。针对各种NLP问题和图像处理应用方面实施t-SNE的研究是一个尚未开发的领域。10常见错误以下是在解释t-SNE的结果时要避免的几个常见错误1 为了使算法正确执行困惑度应小于点的数量。一般设置为5-50。2 具有相同超参数的不同运行可能产生不同的结果。3 任何t-SNE图中的簇大小不得用于标准偏差色散或任何其他类似的评估。4 簇之间的距离可以改变。一个茫然性不能优化所有簇的距离。5 可以在随机噪声中找到模式。6 不同的困惑水平可以观察到不同的簇形状。7 不能基于单个t-SNE图进行分析拓扑在进行任何评估之前必须观察多个图。本文由北邮爱可可-爱生活老师推荐阿里云云栖社区组织翻译。文章原标题《Comprehensive Guide on t-SNE algorithm with implementation in R Python》作者Saurabh译者海棠文章为简译更为详细的内容请查看原文
