- Apache Flink 文档
- 概念
- 数据流编程模型
- 分布式运行时环境
- 教程
- API 教程
- DataStream API 教程
- Setup 教程
- 本地安装教程
- 在 Windows 上运行 Flink
- 例子
- 批处理示例
- 应用开发
- 项目构建设置
- Java 项目模板
- Scala 的项目模板
- 配置依赖关系,连接器,库
- 基础 API 概念
- Scala API 扩展
- Java Lambda 表达式
- Flink DataStream API 编程指南
- 活动时间
- 事件时间/处理时间/摄取时间
- 活动时间和水印
- 状态与容错
- 算子
- DataStream 转换
- 物理分区
- 任务链和资源组
- 流连接器
- 旁路输出
- Python 编程指南(流)Beta
- 测试
- 实验特点
- Flink DataSet API 编程指南
- 数据集转换
- 容错
- 在数据集中压缩数据元
- 迭代
- Python 编程指南 Beta
- 连接器
- Hadoop 兼容性测试版
- 本地执行
- 群集执行
- Table API 和 SQL
- 概念和通用 API
- 流处理概念
- 连接到外部系统
- Table API
- SQL
- 内置函数
- 用户定义的源和接收器
- 用户定义的函数
- SQL 客户端测试版
- 数据类型和序列化
- 为 Flink 程序注册自定义序列化程序
- 管理执行
- 执行配置
- 程序打包和分布式执行
- 并行执行
- 执行计划
- 重启策略
- 类库
- FlinkCEP - Flink 的复杂事件处理
- 风暴兼容性 Beta
- 项目配置
- 执行 Storm 拓扑
- 在 Flink 流程序中嵌入 Storm 算子
- Flink Extensions
- Storm 兼容性示例
- Gelly:Flink Graph API
- 图 API
- FlinkML - Flink 的机器学习
- 最佳实践
- API 迁移指南
- 部署和运营
- 集群和部署
- 独立群集
- YARN 设置
- Mesos 设置
- Kubernetes 设置
- Docker 设置
- 亚马逊网络服务(AWS)
- Google Compute Engine 设置
- 先决条件
- 在 Google Compute Engine 上部署 Flink
- MapR 设置
- Hadoop 集成
- JobManager 高可用性(HA)
- 状态和容错
- 检查点
- 保存点
- 状态后台
- 调整检查点和大状态
- 配置
- 生产准备清单
- 命令行界面
- Scala REPL
- Kerberos 身份验证设置和配置
- SSL 设置
- 文件系统
- 升级应用程序和 Flink 版本
- 调试和监控
- 度量
- 如何使用日志记录
- 历史服务器
- 监控检查点
- 监测背压
- 监控 REST API
- 调试 Windows 和事件时间
- 调试类加载
- 应用程序分析
- 使用 Java Flight Recorder 进行性能分析
- 使用 JITWatch 进行分析
- Flink Development
- 将 Flink 导入 IDE
- 从 Source 建立 Flink
- 内幕
- 组件堆栈
- 数据流容错
- 工作和调度
- 任务生命周期
- 文件系统
- 实现
- 坚持保证
- 更新文件内容
- 覆盖文件
- 线程安全
如何使用日志记录
Flink 中的日志记录是使用 slf4j 日志记录界面实现的。作为底层日志记录框架,使用 log4j。我们还提供了 logback 配置文件,并将它们作为属性传递给 JVM。愿意使用 logback 而不是 log4j 的用户可以只排除 log4j(或从 lib /文件夹中删除它)。
配置 Log4j
使用属性文件控制 Log4j。在 Flink 的情况下,通常会调用该文件 log4j.properties
。我们使用 -Dlog4j.configuration=
参数将此文件的文件名和位置传递给 JVM。
Flink 附带以下默认属性文件:
log4j-cli.properties
:由 Flink 命令行客户端(例如flink run
)使用(不是在集群上执行的代码)log4j-yarn-session.properties
:启动 YARN 会话时由 Flink 命令行客户端使用(yarn-session.sh
)log4j.properties
:JobManager / Taskmanager 日志(独立和 YARN)
配置回溯
对于用户和开发人员来说,控制日志记录框架非常重要。日志框架的配置完全由配置文件完成。必须通过设置 environment 属性 -Dlogback.configurationFile=<file>
或通过放入 logback.xml
类路径来指定配置文件。该 conf
目录包含一个 logback.xml
可以修改的文件,如果在 IDE 外部启动 Flink 并使用提供的启动脚本,则使用该文件。提供 logback.xml
的内容如下:
<configuration>
<appender name="file" class="ch.qos.logback.core.FileAppender">
<file>${log.file}</file>
<append>false</append>
<encoder>
<pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{60} %X{sourceThread} - %msg%n</pattern>
</encoder>
</appender>
<root level="INFO">
<appender-ref ref="file"/>
</root>
</configuration>
org.apache.flink.runtime.jobgraph.JobGraph
例如,为了控制日志记录级别,必须将以下行添加到配置文件中。
<logger name="org.apache.flink.runtime.jobgraph.JobGraph" level="DEBUG"/>
有关配置 logback 的更多信息,请参阅 LOGback 手册 。
开发人员的最佳实践
使用 slf4j 的记录器是通过调用创建的
import org.slf4j.LoggerFactory
import org.slf4j.Logger
Logger LOG = LoggerFactory.getLogger(Foobar.class)
为了从 slf4j 中获益最多,建议使用其占位符机制。使用占位符可以避免不必要的字符串构造,以防日志记录级别设置得太高,以至于不会记录消息。占位符的语法如下:
LOG.info("This message contains {} placeholders. {}", 2, "Yippie");
占位符也可以与应记录的异常一起使用。
catch(Exception exception){
LOG.error("An {} occurred.", "error", exception);
}
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论