大数据工具插件可让您监控Kafka事件流式处理过程。
典型工作流程:
在Big Data Tools窗口中,单击并选择Monitoring部分下的Kafka 。大数据工具连接对话框打开。
大数据工具连接对话框打开。
强制参数:
URL:目标服务器的路径。
Name:连接的名称,以区分其他连接。
或者,您可以设置:
属性:可配置的连接参数列表。有关更多详细信息,请参阅 Kafka参考文档。您可以指定具有属性的文件,或者将从 Kafka 文档中检索属性。您开始输入属性名称并按下Ctrl+Space以获取目标属性。
启用隧道。创建到远程主机的 SSH 隧道。如果目标服务器位于专用网络中但与网络中主机的 SSH 连接可用,则它可能很有用。
选中复选框并指定 SSH 连接的配置(单击...创建新的 SSH 配置)。
每个项目:选择以仅为当前项目启用这些连接设置。如果您希望此连接在其他项目中可见,请取消选择它。
启用连接:如果要限制使用此连接,请取消选择。默认情况下,启用新创建的连接。
单击Kafka 支持受限消息旁边的问号以预览当前支持的功能列表。
填写设置后,单击测试连接以确保所有配置参数正确。然后单击确定。
您可以随时通过以下方式之一打开连接设置:
转到工具 | IDE设置的大数据工具设置Ctrl+Alt+S页面。
点击Kafka连接工具窗口工具栏。
与 Kafka 服务器建立连接后,会出现Kafka 连接工具窗口。
该窗口由几个区域组成,用于监视以下数据:
主题:按存储 Kafka 记录的分区划分的类别。
消费者:集群中所有主题的所有消费者组的视图。
在 Kafka 主题列表中,选择要预览的目标主题。
在右侧窗格中,在“分区”选项卡中选择要研究的分区。
切换到配置选项卡以查看配置选项。
要管理监控区域的可见性,请使用以下按钮:
您可以启用查看内部主题。这些主题由应用程序创建,并且仅由该流应用程序使用。在Kafka 文档中查看更多详细信息。
在配置选项卡中启用完整配置选项时,您可以看到不更改其默认值的选项。
设置好监控窗口的布局,打开或关闭部分预览区域后,您可以过滤监控数据以预览特定的作业参数。
单击列标题可更改列中数据的顺序。
单击工具栏上的显示/隐藏列以选择要在表中显示的列:
随时可以点击Kafka连接工具窗口手动刷新监控数据。或者,您可以在刷新按钮旁边的列表中配置特定时间间隔内的自动更新。您可以选择 5、10 或 30 秒。
注意Kafka监控工具窗口中的添加生产者和添加消费者按钮。使用这些控件,您可以开始生成和接收数据
在生产者窗口中指定消息参数,然后单击Produce。
点击消费者窗口中的开始消费,开始接收消息。要恢复消息传递,请单击停止消费。您可以单击保存预设来创建一组特定的消费消息。您可以稍后在使用者窗口的“预设”窗格中预览它们。