Question

本文档提供了有关如何在 MapR 群集上为 YARN 执行准备 Flink 的说明。

使用 MapR 在 YARN 上运行 Flink

以下说明假定 MapR 版本为 5.2.0。它们将指导您能够开始 在 YARN 作业 上 提交 Flink 或向 MapR 群集提交会话。

为 MapR 构建 Flink

为了在 MapR 上运行 Flink，需要使用 MapR 自己的 Hadoop 和 Zookeeper 分发构建 Flink。只需使用 Maven 使用项目根目录中的以下命令构建 Flink：

mvn clean install -DskipTests -Pvendor-repos,mapr \
  -Dhadoop.version=2.7.0-mapr-1607 \
  -Dzookeeper.version=3.4.5-mapr-1604

在 vendor-repos 构建配置文件添加 MAPR 的存储库来构建，使 MAPR 的 Hadoop /zookeeper 的依赖可以获取。的 mapr 建造轮廓另外解析 MAPR 和 Flink 之间的一些相关性的冲突，以及确保用于在群集节点上本地 MAPR 库。必须激活两个配置文件。

默认情况下， mapr 配置文件使用 MapR 版本 5.2.0 的 Hadoop / Zookeeper 依赖关系构建，因此您无需显式覆盖 hadoop.version 和 zookeeper.version 属性。对于不同的 MapR 版本，只需将这些属性覆盖为适当的值即可。每个 MapR 版本的相应 Hadoop / Zookeeper 发行版都可以在 MapR 文档中找到，例如 此处 。

作业提交客户端设置

向 MapR 提交 Flink 作业的客户还需要使用以下设置进行准备。

确保拾取 MapR 的 JAAS 配置文件以避免登录失败：

export JVM_ARGS=-Djava.security.auth.login.config=/opt/mapr/conf/mapr.login.conf

确保该 yarn.nodemanager.resource.cpu-vcores 属性设置为 yarn-site.xml ：

<!-- in /opt/mapr/hadoop/hadoop-2.7.0/etc/hadoop/yarn-site.xml -->

<configuration>
...

<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>...</value>
</property>

...
</configuration>

还记得将 YARN_CONF_DIR 或 HADOOP_CONF_DIR 环境变量设置为所在的路径 yarn-site.xml ：

export YARN_CONF_DIR=/opt/mapr/hadoop/hadoop-2.7.0/etc/hadoop/
export HADOOP_CONF_DIR=/opt/mapr/hadoop/hadoop-2.7.0/etc/hadoop/

确保在类路径中拾取 MapR 本机库：

export FLINK_CLASSPATH=/opt/mapr/lib/*

如果您将在 YARN 会话中启动 Flink yarn-session.sh ，则还需要以下内容：

export CC_CLASSPATH=/opt/mapr/lib/*

使用安全的 MapR 群集运行 Flink

注意：在 Flink 1.2.0 中，Flink 用于 YARN 执行的 Kerberos 身份验证存在一个错误，禁止它与 MapR Security 一起使用。请升级到更高版本的 Flink 版本，以便将 Flink 与安全的 MapR 群集一起使用。有关详细信息，请参阅 FLINK-5949 。

Flink 的 Kerberos 身份验证 独立于 MapR 的安全身份验证 。通过上述构建过程和环境变量设置，Flink 不需要任何其他配置即可使用 MapR Security。

用户只需使用 MapR 的 maprlogin 身份验证实用程序登录即可。未获取 MapR 登录凭据的用户将无法提交 Flink 作业，并出现以下错误：

java.lang.Exception: unable to establish the security context
Caused by: o.a.f.r.security.modules.SecurityModule$SecurityInstallException: Unable to set the Hadoop login user
Caused by: java.io.IOException: failure to login: Unable to obtain MapR credentials