无锡做网站seo的,中国建设银行官方,微信小程序代做价格,上海网站建设咨询站霸网络kafka connect在本周的白板演练中#xff0c;MapR的高级产品营销经理Ankur Desai描述了Apache Kafka Connect和REST API如何简化和提高在处理来自包括旧数据库或数据仓库在内的各种数据源的流数据时的敏捷性。 他还解释了当您使用MapR Streams与Kafka进行数据传输时#xff0… kafka connect 在本周的白板演练中MapR的高级产品营销经理Ankur Desai描述了Apache Kafka Connect和REST API如何简化和提高在处理来自包括旧数据库或数据仓库在内的各种数据源的流数据时的敏捷性。 他还解释了当您使用MapR Streams与Kafka进行数据传输时此体系结构的差异。 其他资源 卡罗尔·麦克唐纳Carol MacDonald的博客教程“使用Spark Machine LearningStreaming和Kafka API监视实时Uber数据” Tugdual Grall撰写的使用Kafka API的示例程序的“ MapR Streams入门”博客教程 Apache Flink简介 Ellen Friedman和Kostas Tzoumas撰写的《 实时和超越流处理》一书在线免费阅读 这是完整的视频转录 嗨我是Ankur Desai。 我在MapR的产品团队中工作。 欢迎来到我的白板演练。 今天我将讨论流架构以及该架构的新进展如何帮助使该架构更加敏捷和简单。 让我们谈谈一切。 这是典型的流架构。 在左侧您拥有诸如社交媒体传感器和各种数据之类的数据源。 然后您将使用Flume之类的数据收集器从这些数据源获取数据然后Flume充当Kafka的生产者。 另外请记住您也有旧式数据源例如数据库和数据仓库。 要从这些来源获取数据并放入Kafka中通常可以使用充当Kafka生产者的自定义代码也可以再次使用数据收集器。 数据放入Kafka后Kafka将充当流式体系结构的消息传递系统。 它充当传输层。 将数据保存在Kafka中后Kafka便可以将数据提供给流处理引擎例如Spark Streaming和Flink。 流处理层用于ATL分析和聚合之类的目的。 处理完成后您希望将结果存储在持久层中以使其可用于下游应用程序。 让我们谈谈如何使整个体系结构更敏捷更简单。 让我们从REST API开始。 REST API让我在这里画一下进行解释。 REST API允许任何环境中的任何编程语言使用SJDP将数据写入Kafka。 同时请记住我们还具有经常需要与Kafka对话的旧数据源。 该社区已经开发了一个工具集即称为Kafka Connect的框架。 Kafka Connect是一组预先建立的连接器可以帮助您将数据从旧系统导入Kafka。 现在您可以使用Kafka Connect在Kafka中进出数据。 结果整个架构更加简单。 Kafka Connect提供了预构建的连接器因此您不必每次都要在旧系统中进出数据时都编写自定义代码。 另外Kafka Connect不仅可以用作数据导入工具还可以将数据从Kafka导出到某些目标。 此外让我们讨论如何将这种体系结构的某些组件融合到一个平台一个集群一个系统中。 借助MapR融合数据平台我们用MapR Streams替换了Kafka而后者使用了相同的API。 您所有的Kafka应用程序也将在MapR上运行。 MapR融合数据平台将传输处理和持久性的所有必需组件融合到一个集群一个系统中的一个平台上。 您在此红色方框内看到的所有内容实际上都在同一集群中的同一平台上运行。 所有这些都融合在MapR上。 这实际上有助于消除不同群集之间的数据移动。 结果我们扩展了敏捷性和简单性的概念因为现在您不必在不同集群之间移动数据。 这减少了等待时间并引入了以前没有的架构简化。 在这里您可以使用MapR融合数据平台使体系结构更简单更灵活。 谢谢收看 如有任何疑问请随时在下面写下评论。 翻译自: https://www.javacodegeeks.com/2016/12/kafka-connect-mapr.htmlkafka connect
