北京网站设计培训学校,咸阳seo培训,优化技术,服务好的网站建设公司易流即时配送在Ubuntu背后的公司Canonical#xff0c;每6个月进行一次技术工作#xff0c;以第一手测试我们的工具并向其他人展示新想法。 这次#xff0c;我创建了一个即时大数据解决方案#xff0c;更具体地讲是“即时风暴”。 Storm现在是Apache基金会的一部分#xf… 易流即时配送 在Ubuntu背后的公司Canonical每6个月进行一次技术工作以第一手测试我们的工具并向其他人展示新想法。 这次我创建了一个即时大数据解决方案更具体地讲是“即时风暴”。 Storm现在是Apache基金会的一部分但以前Storm是Nathan Marz在Twitter期间建立的。 Storm是用于实时和分布式计算的流处理引擎。 您可以使用Storm来聚合事件的实时流进行机器学习进行分析进行分布式ETL等。 Storm由多种服务构建而成需要Zookeeper。 这是一个复杂的解决方案并且易于部署集成和扩展。 我在Canonical所做的第一个技术项目是创建Storm Juju魅力 。 尽管我能够自动化Storm的部署但是仍然存在一些问题因为用户仍然必须阅读如何实际使用Storm的知识。 Instant Storm是解决此问题的第一步。 我创建了一个StormDeployer超级按钮 可以读取yaml文件开发人员可以在其中指定多个拓扑。 为每个名称指定拓扑的名称jar文件Github中的位置如何打包jar文件等。然后通过将yaml文件上传到Github或任何公共Web服务器并给它扩展名.storm世界能够通过两个步骤立即重用拓扑 1.通过简单地在Juju中拖放即可部署Storm Zookeeper StormDeployer随附的Storm捆绑包 2.获取指向风暴文件的URL并将其放入StormDeployer的服务设置的deploy字段中 另外您可以使用Juju命令行 juju set stormdeployer deployhttp://somedomain/somefile.storm Github上已经有几个示例但是这里有一个可以肯定起作用的示例 https://raw.githubusercontent.com/mectors/stormdeployer-examples/master/storm-hackaton/storm-hackaton.storm StormDeployer将从Github下载项目将jar与Maven打包然后将jar上传到Storm。 您可以在日志/opt/storm/latest/log/deploy.log中查看进度。 这是在任何公共云私有云上或在任何裸机服务器X86ARM64Power 8上使用Ubuntu的Metal-as-a / Service / MaaS部署Storm的最简单方法。 有关Juju安装说明请参见此处。 这是第一个版本有一些限制。 要添加的真正不错的功能之一是使用Juju使拓扑和其他超级按钮之间的集成动态化。 例如您可以创建连接到Kafka或Cassandra护身符的喷嘴或螺栓。 Juju可以自动告知拓扑连接信息并在发生任何更改时更新正在运行的拓扑。 这将使运行长期运行的Storm拓扑更加健壮。 我很高兴将自己的工作捐赠给Apache基金会并指导任何想拥有所有权的人…… 翻译自: https://www.javacodegeeks.com/2014/09/instant-big-data-stream-processing-instant-storm.html易流即时配送
