Pycharm
 
2023.3
快捷方式：Windows
获取 PyCharm
  1. 大数据工具
  2. 远程文件系统
  3. 分布式文件系统

分布式文件系统

最后修改时间：2023 年 8 月 23 日

连接到 HDFS 服务器

  1. 在“大数据工具”窗口中，单击添加连接并选择HDFS。

  2. 在打开的“大数据工具”对话框中，指定连接参数：

    HDFS连接

    • 名称：连接的名称，用于区分其他连接。

    • 在配置源中，选择以下选项之一：

      • 自定义：在“集群 URI”框中，输入 HDFS 服务器的 URI。如果Kerberos用于控制对 HDFS 服务器的访问，请在Authentication下选择Kerberos。

      • 配置文件夹：包含 HDFS 配置文件的目录的路径。请参阅配置文件示例。

    您可以选择设置：

    • 每个项目：选择仅为当前项目启用这些连接设置。如果您希望此连接在其他项目中可见，请取消选择它。

    • 启用连接：如果要禁用此连接，请取消选择。默认情况下，启用新创建的连接。

    • Hadoop用户名：输入登录服务器的用户名。如果未指定，HADOOP_USER_NAME则使用环境变量。如果未定义此变量，user.name则使用该属性。如果启用 Kerberos，它将覆盖这三个值中的任何一个。

    • 启用隧道（仅NameNode操作）。此选项创建到远程主机的 SSH 隧道。如果目标服务器位于专用网络中，但与网络中的主机的 SSH 连接可用，则它会很有用。SSH 隧道目前仅适用于具有以下 NameNode 的操作员：列出文件、获取元信息。

      选中该复选框并指定 SSH 连接的配置（单击...以创建新的 SSH 配置）。

    • 在扩展连接设置下，您可以设置：

      • 根路径：目标服务器上作为 HDFS 连接根的路径。

      • 操作超时（秒）：输入在远程存储上执行的操作（例如获取文件信息、列出或删除对象）的超时（以秒为单位）。默认值为 15 秒。

  3. 填写设置后，单击测试连接以确保所有配置参数正确。然后单击“确定”。

成功建立连接后，驱动程序主路径字段将显示连接的目标 IP 地址，包括端口号。示例：hdfs: //127.0.0.1 :65224 / 。

类型

配置示例

分布式文件系统

<?xml version="1.0"?>
<configuration>
<property>
<name>fs.hdfs.impl</name>
<value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://example.com:9000/</value>
</property>
</configuration>

S3

<?xml version="1.0"?>
<configuration>
<property>
<name>fs.s3a.impl</name>
<value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
</property>
<property>
<name>fs.s3a.access.key</name>
<value>sample_access_key</value>
</property>
<property>
<name>fs.s3a.secret.key</name>
<value>sample_secret_key</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>s3a://example.com/</value>
</property>
</configuration>

网络HDFS

<?xml version="1.0"?>
<configuration>
<property>
<name>fs.webhdfs.impl</name>
<value>org.apache.hadoop.hdfs.web.WebHdfsFileSystem</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>webhdfs://master.example.com:50070/</value>
</property>
</configuration>

WebHDFS 和 Kerberos

<?xml version="1.0"?>
<configuration>
<property>
<name>fs.webhdfs.impl</name>
<value>org.apache.hadoop.hdfs.web.WebHdfsFileSystem</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>webhdfs://master.example.com:50070</value>
</property>
<property> ​
<name>hadoop.security.authentication</name>
<value>Kerberos</value>
</property>
<property>
<name>dfs.web.authentication.kerberos.principal</name>
<value>testuser@EXAMPLE.COM</value>
</property>
<property>​
<name>hadoop.security.authorization</name>​
<value>true</value>​
</property>
</configuration>

也可以看看

程序