大数据工具

大数据工具插件可让您监控Kafka事件流式处理过程。

典型工作流程:

  1. 建立与 Kafka 服务器的连接

  2. 调整预览布局

  3. 过滤掉流参数

创建到 Kafka 服务器的连接

  1. Big Data Tools窗口中,单击添加连接并选择Monitoring部分下的Kafka 。数据工具连接对话框打开。

  2. 数据工具连接对话框打开。

    配置Kafka连接

    强制参数:

    • URL:目标服务器的路径。

    • Name:连接的名称,以区分其他连接。

    或者,您可以设置:

    • 属性:可配置的连接参数列表。有关更多详细信息,请参阅 Kafka参考文档。您可以指定具有属性的文件,或者将从 Kafka 文档中检索属性。您开始输入属性名称并按下Ctrl+Space以获取目标属性。

    • 启用隧道。创建到远程主机的 SSH 隧道。如果目标服务器位于专用网络中但与网络中主机的 SSH 连接可用,则它可能很有用。

      选中复选框并指定 SSH 连接的配置(单击...创建新的 SSH 配置)。

    • 每个项目:选择以仅为当前项目启用这些连接设置。如果您希望此连接在其他项目中可见,请取消选择它。

    • 启用连接:如果要限制使用此连接,请取消选择。默认情况下,启用新创建的连接。

    • 单击Kafka 支持受限消息旁边的问号以预览当前支持的功能列表。

  3. 填写设置后,单击测试连接以确保所有配置参数正确。然后单击确定

您可以随时通过以下方式之一打开连接设置:

  • 转到工具 | IDE设置的大数据工具设置Ctrl+Alt+S页面。

  • 点击Kafka连接设置工具窗口工具栏。

与 Kafka 服务器建立连接后,会出现Kafka 连接工具窗口。

Kafka 连接:主题
Kafka 连接:主题

该窗口由几个区域组成,用于监视以下数据:

  • 主题:按存储 Kafka 记录的分区划分的类别。

  • 消费者:集群中所有主题的所有消费者组的视图。

调整布局

  • 在 Kafka 主题列表中,选择要预览的目标主题。

  • 在右侧窗格中,在“分区”选项卡中选择要研究的分区

    主题分区
  • 切换到配置选项卡以查看配置选项。

  • 要管理监控区域的可见性,请使用以下显示隐藏选项按钮:

    显示隐藏的细节

    您可以启用查看内部主题。这些主题由应用程序创建,并且仅由该流应用程序使用。在Kafka 文档中查看更多详细信息。

    在配置选项卡中启用完整配置选项时您可以看到不更改其默认值的选项。

设置好监控窗口的布局,打开或关闭部分预览区域后,您可以过滤监控数据以预览特定的作业参数。

过滤掉监控数据

  1. 单击列标题可更改列中数据的顺序。

  2. 单击工具栏上的显示/隐藏列以选择要在表中显示的列:

    选择要在表格中显示的列

随时可以点击Kafka连接刷新工具窗口手动刷新监控数据。或者,您可以在刷新按钮旁边的列表中配置特定时间间隔内的自动更新。您可以选择 5、10 或 30 秒。

生产和消费消息

注意Kafka监控工具窗口中的添加生产者添加消费者按钮。使用这些控件,您可以开始生成和接收数据

添加生产者,添加消费者按钮
  • 在生产者窗口中指定消息参数,然后单击Produce

  • 点击消费者窗口中的开始消费,开始接收消息。要恢复消息传递,请单击停止消费。您可以单击保存预设来创建一组特定的消费消息。您可以稍后在使用者窗口的“预设”窗格中预览它们。

最后修改:2021 年 11 月 16 日