返回介绍

在 Google Compute Engine 上部署 Flink

发布于 2025-05-02 18:19:19 字数 1404 浏览 0 评论 0 收藏

设置一个桶

如果尚未这样做,请为 bdutil 配置和暂存文件创建一个存储桶。可以使用 gsutil 创建一个新存储桶:

gsutil mb gs://<bucket_name>

调整 bdutil 配置

要使用 bdutil 部署 Flink,请至少调整 bdutil_env.sh 中的以下变量。

CONFIGBUCKET="<bucket_name>"
PROJECT="<compute_engine_project_name>"
NUM_WORKERS=<number_of_workers>

# set this to 'n1-standard-2' if you're using the free trial

> 译者:[flink.sojb.cn](https://flink.sojb.cn/)

GCE_MACHINE_TYPE="<gce_machine_type>"

# for example: "europe-west1-d"

> 译者:[flink.sojb.cn](https://flink.sojb.cn/)

GCE_ZONE="<gce_zone>"

调整 Flink 配置

bdutil 的 Flink 扩展为您处理配置。您可以另外调整配置变量 extensions/flink/flink_env.sh 。如果您想进一步配置,请查看 配置 Flink 。使用 bin/stop-cluster 和更改其配置后,您将不得不重新启动 Flink bin/start-cluster

使用 Flink 创建一个集群

要在 Google Compute Engine 上显示 Flink 群集,请执行:

./bdutil -e extensions/flink/flink_env.sh deploy

运行 Flink 示例作业:

./bdutil shell
cd /home/hadoop/flink-install/bin
./flink run ../examples/batch/WordCount.jar gs://dataflow-samples/shakespeare/othello.txt gs://<bucket_name>/output

关闭群集

关闭集群就像执行一样简单

./bdutil -e extensions/flink/flink_env.sh delete

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。