返回介绍

群集执行

发布于 2025-05-02 18:19:15 字数 1221 浏览 0 评论 0 收藏

Flink 程序可以在许多机器的集群上分布式运行。将程序发送到集群以执行有两种方法:

命令行界面

命令行界面允许您将打包程序(JAR)提交到群集(或单机设置)。

有关详细信息,请参阅 命令行界面 文档。

远程环境

远程环境允许您直接在集群上执行 Flink Java 程序。远程环境指向要在其上执行程序的群集。

Maven 依赖

如果您正在将程序开发为 Maven 项目,则必须 flink-clients 使用此依赖项添加 模块:

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-clients_2.11</artifactId>
  <version>1.7-SNAPSHOT</version>
</dependency>

以下说明使用 RemoteEnvironment

public static void main(String[] args) throws Exception {
  ExecutionEnvironment env = ExecutionEnvironment
    .createRemoteEnvironment("flink-master", 8081, "/home/user/udfs.jar");

  DataSet<String> data = env.readTextFile("hdfs://path/to/file");

  data
    .filter(new FilterFunction<String>() {
      public boolean filter(String value) {
        return value.startsWith("http://");
      }
    })
    .writeAsText("hdfs://path/to/result");

  env.execute();
}

请注意,该程序包含自定义用户代码,因此需要一个附加代码类的 JAR 文件。远程环境的构造函数将路径传递给 JAR 文件。

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。