农产品的网站建设与维护论文,公司建设网站的通知书,梅林固件 搭建wordpress,合肥手机网站建设数据科学家40%是个吸尘器#xff0c;40%是个清洁工#xff0c;剩下20%是个算命的。作者 | Jingles译者 | 香槟超新星#xff0c;责编 | 夕颜出品 | CSDN#xff08;ID:CSDNnews#xff09;根据《哈佛商业评论》的说法#xff0c;数据科学家是21世纪最性感的工作。在现在这… 数据科学家40%是个吸尘器40%是个清洁工剩下20%是个算命的。作者 | Jingles译者 | 香槟超新星责编 | 夕颜出品 | CSDNID:CSDNnews根据《哈佛商业评论》的说法数据科学家是21世纪最性感的工作。在现在这个大数据的世界中数据科学家们用AI 或深度学习方法来发掘宝贵的商业见解。 而我挂着“数据科学家”头衔已经五年了却仍然没有完全搞明白自己究竟哪里性感除了我新烫的头发让我看起来像个韩国欧巴此词通常用来代指韩国偶像剧男主角。 确实云的出现和商业向互联网的转移已经引起了数据爆炸。这导致了某些部门中对于数据科学家的需求增加造成此职位的人员短缺。 但是数据科学家们每天工作的具体内容包括哪些呢 通过分析LinkedIn上发布的职位我们就能找到这个问题的答案。以下是我总结的一些主要的点 对业务和客户有所了解对假设进行验证建立起预测模型和机器学习流水线进行A / B测试给商业的利益相关者们概念化分析开发能够做出业务决策的算法实验并研究新技术和方法来提升技术能力 这些听上去都很性感对不对 除非你的工作内容只包含处理Kaggle数据集否则以上这些工作描述只是数据科学家们生活的一小部分。 以下调查结果来自CrowdFlower对一个数据科学家的一个平常的工作日作了以下总结 数据科学家大部分时间都在干什么图源CrowdFlower 如上表所示数据科学家的大部分时间都花在了收集数据集清洗以及组织数据上。 21世纪的高性能数据吸尘器 数据湖data lakes是集中存储公司所有数据的地方。它们使组织能够使用公司的数据来搭建机器学习模型和仪表板。而不幸的是有的人会认为数据湖是可以用来丢弃数据的垃圾场或一个超大的硬盘。 许多组织公司在开始布施数据湖时对应该如何处理收集到的数据一无所知。他们说“那我们就把所有的东西都收集起来吧。”尽管数据湖的意义在于将公司的所有数据集中在一个地方但根据特定项目的需求来对它进行设计仍然是至关重要的。不进行计划几乎就像创建一个“新建文件夹”然后把公司的全部数据都复制粘贴到里面一样。 当你把桌面当做数据垃圾场时 从历史上看糟糕的计划很少会带来或者说从未带来过定义明确的元数据这就使所有人都很难搜索并找到自己所需的数据。数据科学家们会经常需要与不同部门联系来获取数据。他们可能需要从各种类型的数据所有者那里得到有关数据的信息。只对数据进行存储而不进行分类简直大错特错。要使数据湖变得有用起来的关键是要确保元数据是被明确定义的。 由于数据管控或数据所有者们他们往往是不同部门的利益相关者太过忙碌重要数据的获取甚至可能需要花费数周的时间。在等待的游戏结束之后到头来数据科学家们却有可能发现数据不相关或存在严重的质量问题。 当数据科学家终于能接触到数据时他们还需花费大量时间来探索以及熟悉数据。他们必须将这些混乱的数据块重组成与项目需求一致的新表。21世纪的高层次数据清洁工 每个与数据打交道的人都应该听说过“脏数据”dirty data一词。脏数据会破坏数据集的完整性它的某些特征是不完整不准确不一致或者重复的。 “不完整”是指有些必要特征空缺。例如假设你的任务是预测房价而“房子的区域”对于良好的预测至关重要但这个值却是缺失的。这样的话预测房价可能对你来说就有很大的挑战性了并且你的模型也可能表现欠佳。 “不准确”和“不一致”就是指技术上来说数值是正确的但在具体语境下却是错误的。例如当一名员工更改了自己的地址并且未更新又或者某项数据有很多版本但数据科学家拿到的是旧版。 “重复”是一个常见的问题。让我来跟你分享一个以前我在电子商务公司工作时发生的事情吧。按照计划当访问者单击“收取收据”按钮时网站会向服务器发送一个响应这就使得我们能够计数已收取了收据的用户数量。 该网站运行良好直到一天某个变化发生了但我对此一无所知。前端开发人员添加了另一个响应在有人成功收取了收据时发送。理由是某些收据可能短缺他们想记下单击了该按钮以及收取了收据的访问者。 那时两个响应会被发送到同一日志表。我看着我的报表工具发现收据的数量似乎在一夜之间翻了一番因为我前一天部署了一个模型所以想当然的认为是自己新模型的功劳。记得当时我还在内心里暗暗地为自己的小模型鼓掌致意了呢后来才意识到只是因为重复计算而已 另外在过去五年中作为一名数据科学家我收到数据中的一部分是由公司员工手动输入的。这些数据存在Excel表中其中许多都不准确不完整不一致。 无论数据是来自人工手动输入还是机器日志在现实世界中数据整理都占了工作内容的很大的比例。数据科学家们必须面对这件事情。为了使监督学习能有效我们需要可靠的带有标签label的数据。只有数据被正确地标记了你才可能建立起预测模型但没人喜欢标记数据。 许多人将这种情况描述为80/20规则。数据科学家们只有20的时间是用于构建模型的而其他80的时间则用于收集分析清洗和重组数据。脏数据是一个普通数据科学家工作中最耗时的一项。 有必要指出的是数据的清洗是必不可少的。从乱糟糟的数据无法生产出良好的结果。你可能已经听说过“垃圾进垃圾出”Garbage in, garbage out.这句话了。 数据科学家们在数据中漫游时确实会发现一些东西。但在开始训练任何模型之前数据科学家必须首先成为数据清洁工。数据需要经历清洗数据需要经历标记。我是一名数据科学家...我并不觉得我的工作性感。 我40的功能像个吸尘器另外40像清洁工。 而最后的20......就当是个算命先生吧。原文链接https://towardsdatascience.com/data-scientist-the-dirtiest-job-of-the-21st-century-7f0c8215e845本文为CSDN翻译文章转载请注明出处。《原力计划【第二季】- 学习力挑战》正式开始即日起至 3月21日千万流量支持原创作者更有专属【勋章】等你来挑战推荐阅读时间复杂度的表示、分析、计算方法……一文带你看懂时间复杂度
Linux 会成为主流桌面操作系统吗
识别率惊人的 GitHub 口罩检测 | 原力计划
西二旗大厂复工记
智能合约编写之Solidity的基础特性
Javascript函数之深入浅出递归思想附案例与代码
真香朕在看了
