返回介绍

历史服务器

发布于 2025-05-02 18:19:20 字数 3380 浏览 0 评论 0 收藏

Flink 有一个历史记录服务器,可用于在关闭相应的 Flink 群集后查询已完成作业的统计信息。

此外,它公开了一个 REST API,它接受 HTTP 请求并使用 JSON 数据进行响应。

概览

HistoryServer 允许您查询已由 JobManager 归档的已完成作业的状态和统计信息。

配置 HistoryServer 和 JobManager 后,可以通过相应的启动脚本启动和停止 HistoryServer:

# Start or stop the HistoryServer

> 译者:[flink.sojb.cn](https://flink.sojb.cn/)

bin/historyserver.sh (start|start-foreground|stop)

默认情况下,此服务器绑定 localhost 并侦听端口 8082

目前,您只能将其作为独立进程运行。

配置

配置键 jobmanager.archive.fs.dirhistoryserver.archive.fs.refresh-interval 需要进行调整以存档和显示存档的作业。

JobManager

已完成作业的归档发生在 JobManager 上,JobManager 将归档的作业信息上载到文件系统目录。您可以 flink-conf.yaml 通过设置目录来配置目录以存档已完成的作业 jobmanager.archive.fs.dir

# Directory to upload completed job information

> 译者:[flink.sojb.cn](https://flink.sojb.cn/)

jobmanager.archive.fs.dir: hdfs:///completed-jobs

HistoryServer

可以将 HistoryServer 配置为监视 via 中以逗号分隔的目录列表 historyserver.archive.fs.dir 。为新存档定期轮询已配置的目录; 轮询间隔可以通过配置 historyserver.archive.fs.refresh-interval

# Monitor the following directories for completed jobs

> 译者:[flink.sojb.cn](https://flink.sojb.cn/)

historyserver.archive.fs.dir: hdfs:///completed-jobs

# Refresh every 10 seconds

> 译者:[flink.sojb.cn](https://flink.sojb.cn/)

historyserver.archive.fs.refresh-interval: 10000

包含的存档将下载并缓存在本地文件系统中。通过此配置本地目录 historyserver.web.tmpdir

查看配置页面以获取 完整的配置选项列表

可用请求

以下是可用请求列表,其中包含示例 JSON 响应。所有请求都是样本表单 http://hostname:8082/jobs ,下面我们仅列出 URL 的 路径 部分。

尖括号中的值是变量,例如 http://hostname:port/jobs/<jobid>/exceptions 必须请求例如 http://hostname:port/jobs/7684be6004e4e955c2a558a9bc463f65/exceptions

  • /config
  • /jobs/overview
  • /jobs/<jobid>
  • /jobs/<jobid>/vertices
  • /jobs/<jobid>/config
  • /jobs/<jobid>/exceptions
  • /jobs/<jobid>/accumulators
  • /jobs/<jobid>/vertices/<vertexid>
  • /jobs/<jobid>/vertices/<vertexid>/subtasktimes
  • /jobs/<jobid>/vertices/<vertexid>/taskmanagers
  • /jobs/<jobid>/vertices/<vertexid>/accumulators
  • /jobs/<jobid>/vertices/<vertexid>/subtasks/accumulators
  • /jobs/<jobid>/vertices/<vertexid>/subtasks/<subtasknum>
  • /jobs/<jobid>/vertices/<vertexid>/subtasks/<subtasknum>/attempts/<attempt>
  • /jobs/<jobid>/vertices/<vertexid>/subtasks/<subtasknum>/attempts/<attempt>/accumulators
  • /jobs/<jobid>/plan

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。