云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

域名注册_免费云存储_评分榜

小七 141 0

Azure Event Hubs是Azure云上一个完全管理的无服务器事件流平台,可以接收和分发大量事件。

由于其弹性和地理位置丰富的功能,Event Hubs在全球Azure上的许多数字计划中使用,从消息传递/事件到流数据分析用例。

来源https://azure.microsoft.com/en-us/services/event-hubs/#功能

Azure Event Hubs还提供通过Kafka客户端库连接,而不是其本机但专有的客户端libs,这打开了一些有趣的选项,特别是在连接到典型的企业软件环境。

流式处理事件日志的典型挑战是

您需要管理已处理记录日志中的检查点。你需要管理消费者在1…n个碎片(或分区)上分发处理

尽管Azure Event Hubs向更广泛的受众提供了AMQP之类的开放协议,但它并不能为你解决这个问题。

除此之外,事件流系统还可以处理巨大的峰值,而传统的企业系统有限制,需要屏蔽这篇文章展示了如何将Azure事件中心与sappo&KaTe的Kafka适配器连接起来,以及如何设置检查点,在SAP环境中发送/接收事件时管理高可用性和数据转换。

Azure上的事件中心可以通过CLI或Azure门户创建。

请注意,创建事件中心可能会在您的Azure帐单中产生成本

创建事件中心

例如,返利商城系统开发,在Azure中创建名为"MySampleEventHub"的事件中心门户。其全球DNS域名为:MySampleEventHub.servicebus.windows.net.

获取安全凭据和主机

创建事件中心后,共享访问策略有一个默认条目,名称为"RootManageSharedAccessKey"作为默认访问用户(在现实场景中,您可以选择不同的条目)

该条目包含使用Azure Event Hubs进行身份验证所需的实际连接主键(它是端点和身份验证信息的组合)。

获取安全凭据和主机

SSL证书只需通过例如Portecle从要导入SAP NetWeavers TrustedCA密钥库的dns主机名获取即可。适配器仅使用TrustedCA密钥库作为证书,不需要外部密钥存储。

KaTe Kafka适配器可以通过SAP PO接收器通道将事件发布到事件中心。

要配置通道,只需将Azure事件中心的主机名和凭据粘贴到通道配置中。

Azure事件中心集线器使用固定用户名($ConnectionString)和具有共享密钥的端点作为密码,通过Kafka API与SASL进行身份验证。

引导服务器:+":"+端口9093用户名:$ConnectionString密码:Endpoint=

事件中心中的主题可以在接收器通道中配置(或者如果需要,在运行时用ASMA属性覆盖)。已发布消息的事件键默认设置为SAP PO消息id,分区是自动选择的。两者也可以在运行时通过动态ASMA属性覆盖。

可选地,负载格式可以从XML转换为JSON或Avro(有或没有中央Avro注册表)。

为了处理来自Azure事件中心的事件,Kate Kafka适配器可以配置为发送方通道。

配置通道时,可以将连接信息(主机/用户名/pwd)粘贴到通道配置中。

可以选择应用不同的详细设置,如:

组名和通道使用者的并行化每次轮询的超时和轮询记录数批处理选项,国内云服务器,用于在一条SAP PO消息中获取多条记录,或仅获取1条事件记录=1条PO消息seek选项在流主题的开始/结束或某个位置/分区处查找从JSON/Avro到XML的数据转换(可选)

检查点处理

使用Kafka客户机(如此适配器)的好处在于Kafka在服务器端的内置客户机管理。适配器为每个PO服务器节点增加一个或多个使用者。Kafka框架本身"负载平衡"这些消费者的分区,以接收Kafka记录。如果一个使用者甚至SAP PO服务器节点上升或下降,重新平衡将保持处理运行。

当前每个客户端在日志中所处的检查点由框架本身保存,不需要PO场景实现端的任何解决方案。

运行时,返利软件,适配器将轮询记录的获取并且(取决于)根据设置,将它们作为每个记录的一条SAP PO消息进行处理,然后将新的偏移提交到Azure事件中心。

重复数据消除:

适配器通过记录键实现重复数据消除,因此,如果重新处理回迁,相同的记录只会作为SAP PO消息显示一次。

在订单处理(EOIO)

在事件中心的订单处理是非常简单的解决方法。由于每个分区都只粘在一个卡夫卡消费者身上,即时通讯云平台,每个分区都按顺序处理分区记录,并在其分区内按顺序传递SAP PO消息,该分区与SAP PO的内部EOIO服务质量处理密切相关。

Avro架构和架构注册表

发送方通道也可配置为在记录按顺序传递时从JSON转换为XML和Avro转换为XMLSAP PO中的消息

如果您将自己的Kafka schema registry工具板托管到Azure Event Hubs,它还可以用于按发送方和接收方通道注册已知的Avro架构。架构可以粘贴到频道配置中,并将注册在频道设置中配置的架构注册表中使用的主题上。

Azure Event hubs是Azure上广泛使用的用于数字计划的事件流解决方案。它的Kafka兼容客户端API将平台开放给更广泛的非专有使用。

KaTe Kafka适配器允许您通过SAP PO从SAP环境连接Azure事件集线器以及任何其他Kafka代理,大淘客网站,只需简单的配置步骤。

适配器一次实现所有繁重的事务处理和所有最佳实践处理、重复数据消除,使用Kafka和Azure事件中心进行安全和数据转换。

不需要为SSL证书/Avro架构存储提供外部密钥库,所有内容都隐藏在SAP NetWeaver标准配置和安全选项中。

开发人员可以专注于其集成场景,而不是开发自定义解决方案来解决Java问题客户端库、SASL身份验证、重复数据消除或XML与JSON或Avro之间的消息转换。

适配器还允许您通过常见的SAP PO配置和批处理选项控制SAP环境中入站处理的事件峰值。

作为一种产品,适配器完全由KaTe GmbH维护,SAP合作伙伴公司,在开放标准和事件处理解决方案(如Kafka)方面拥有深厚的SAP专业知识和专业技能。

产品与Kafka功能和SAP PO版本的所有升级保持同步。新功能和最佳实践在客户反馈中不断推出。

Azure活动中心:

https://azure.microsoft.com/en-us/services/event-hubs/

阿帕奇·卡夫卡:

https://kafka.apache.org

SAP PO的KaTe Kafka适配器

凯特·卡夫卡适配器在SAP Appcenter中:

Kate Kafka适配器–SAP Appcenter

Apache Avro:

https://avro.apache.org