锦绣江南网站建设,WordPress提交留言,wordpress is_terms,外包小程序Kafka Magic[1] 是一个用于处理 Apache Kafka 集群的 GUI 工具。它可以查找和显示消息、在 Topic 之间转换和移动消息、查看和更新模式、管理 Topic 以及自动化复杂任务。Kafka Magic 通过方便的用户界面促进 Topic 管理、QA 和集成测试。Kafka Magic Community Edition 可免费… Kafka Magic[1] 是一个用于处理 Apache Kafka 集群的 GUI 工具。它可以查找和显示消息、在 Topic 之间转换和移动消息、查看和更新模式、管理 Topic 以及自动化复杂任务。Kafka Magic 通过方便的用户界面促进 Topic 管理、QA 和集成测试。Kafka Magic Community Edition 可免费供个人和企业使用。在这里下载[2]使用 JavaScript 查询搜索、查看、过滤消息浏览 Kafka 集群、Topic 和分区。使用带有消息字段、标题、键的任意组合的 JavaScript 查询来搜索消息。按分区、偏移量和时间戳过滤消息。查看字符串、JSON 或 Avro 序列化消息。支持 Ssl、PlainText、Sasl Plain Text、Sasl Ssl 安全协议的集群支持 GSSAPI、PLAIN、SCRAM-SHA-256、SCRAM-SHA-512 的 Sasl mechanism 的集群发布消息将 JSON 或 Avro 消息发布到 Topic使用 Context 发布消息Key、Headers、Partition Id在一个步骤中将多条消息发布为一个数组在 Topic 之间移动消息在一个 Topic 中查找消息并将它们发送到另一个 Topic即时转换消息并更改分配的架构在多个 Topic 之间有条件地分发消息管理 Topic 和 Avro 模式读取集群和 Topic 元数据创建、克隆和删除 Topic读取和注册 Avro 模式自动化复杂任务使用 JavaScript完全符合 ECMAScript编写任何复杂的自动化脚本使用 IntelliSense 和自动完成助手支持的简单命令编写脚本直接从 UI 执行长时间运行的集成测试保持对测试执行的完全控制Kafka Magic 有效地处理包含数百万条消息的非常大的 Topic。为企业环境而设计使用场景发展利用 Apache Kafka 快速验证软件[3]一体化验证 Avro 模式和消息[4]测试和质量保证运行复杂的集成测试脚本[5]支持发现并解决运营问题[6]遵守在 Kafka 中搜索特定内容[7]任何方式部署作为 Windows、Linux 和 Mac 的桌面应用程序。作为部署在更靠近 Kafka 集群的 Docker 容器。单独为每个开发人员或整个团队的单个实例。每个用户可能仍需要用户访问许可证部署docker 部署参考docker 部署[8]Kafka Magic Docker 容器 (Linux amd64) 托管在 Docker Hub 的存储库digitaly/kafka-magic中。拉取镜像docker pull digitsy/kafka-magicWeb 界面在端口 80 上公开。要运行容器并映射到不同的端口例如 8080docker run -d --rm -p 8080:80 digitsy/kafka-magic在浏览器中导航到http://localhost:8080docker-compose 部署对于 docker-compose 示例请参见 快速开始[9]Kubernetes 中部署默认情况下Kafka Magic 应用程序的 Docker 容器版本配置为将配置存储在内存中。要配置文件存储您可以通过环境变量更新配置。使用的配置环境变量的名称 KMAGIC 前缀需要创建这些环境变量KMAGIC_CONFIG_STORE_TYPE: file
KMAGIC_CONFIG_STORE_CONNECTION: Data Source/tmp/kmagic-data;
KMAGIC_CONFIG_ENCRYPTION_KEY: kmagic-key完整的部署 Yaml 如下kind: PersistentVolumeClaim
apiVersion: v1
metadata:name: kafka-magic-datanamespace: kafkafinalizers:- kubernetes.io/pvc-protection
spec:accessModes:- ReadWriteOnceresources:requests:storage: 10GistorageClassName: ceph-rbdvolumeMode: Filesystem
---
kind: Service
apiVersion: v1
metadata:name: kafka-magicnamespace: kafkalabels:app: kafka-magicversion: v1
spec:ports:- name: tcp-80protocol: TCPport: 80targetPort: 80selector:app: kafka-magictype: ClusterIP
---
kind: Deployment
apiVersion: apps/v1
metadata:name: kafka-magic-v1namespace: kafkalabels:app: kafka-magicversion: v1
spec:replicas: 1selector:matchLabels:app: kafka-magicversion: v1template:metadata:creationTimestamp: nulllabels:app: kafka-magicversion: v1spec:volumes:- name: host-timehostPath:path: /etc/localtimetype: - name: volume-ptfuxdpersistentVolumeClaim:claimName: kafka-magic-datacontainers:- name: kmagicimage: digitsy/kafka-magicports:- name: tcp-80containerPort: 80protocol: TCPenv:- name: KMAGIC_CONFIG_STORE_TYPEvalue: file- name: KMAGIC_CONFIG_STORE_CONNECTIONvalue: Data Source/config/KafkaMagicConfig.db;- name: KMAGIC_CONFIG_ENCRYPTION_KEYvalue: kmagic-keyresources:limits:cpu: 1memory: 1Girequests:cpu: 500mmemory: 512MivolumeMounts:- name: host-timereadOnly: truemountPath: /etc/localtime- name: volume-ptfuxdmountPath: /config/subPath: KafkaMagicConfig.dbimagePullPolicy: IfNotPresent上面Yaml中使用了 ceph-rbd storageclass 存储请根据实际情况修改。笔者的集群为扁平化网络Service ClusterIP 和 PodIP 集群外是可以访问的集群泛域名已经在内网 DNS 中配置了转发规则。当然也可以通过 NodePort、Ingress 等方式暴露服务。笔者部署之后 Kafka Magic 的访问地址为http://kafka-magic.kafka.svc.{集群域名后缀}使用不注册账号只能添加集群查询消息。注册登录账号可以使用的功能更多。注意用 qq 邮箱总是收不到验证码。用 gmail 邮箱很顺利。注册 Kafka 集群点击 Register New 注册 Kafka 集群发送消息查询消息Maximum Result 的范围是[0, 10000]执行自动化任务下面脚本将在My cluster name 集群中创建一个my_new_topic_name 的 topic并发送消息{ myField1: bar, myField2: 3 }然后查询消息最后 delete topic// Automation script example:Magic.reportProgress(Started: new Date());var topic Magic.createTopic(My cluster name, my_new_topic_name);
topic.publishMessage({ myField1: bar, myField2: 3 });var messages topic.search(false, 10, function (context) {
return context.Message.myField1 bar;
});topic.delete();Magic.reportProgress(Done: new Date());
return messages;return Done!;将消息从 A topic 复制到 B topic参考资料[1]Kafka Magic: https://www.kafkamagic.com/[2]这里下载: https://www.kafkamagic.com/download/?v2[3]快速验证软件: https://www.kafkamagic.com/usage/development/[4]验证 Avro 模式和消息: https://www.kafkamagic.com/usage/integration/[5]复杂的集成测试脚本: https://www.kafkamagic.com/usage/qa/[6]发现并解决运营问题: https://www.kafkamagic.com/usage/support/[7]搜索特定内容: https://www.kafkamagic.com/usage/compliance/[8]docker 部署: https://www.kafkamagic.com/download/#docker-container[9]快速开始: https://www.kafkamagic.com/start/#using-docker-containers- END -
