- Apache Flink 文档
- 概念
- 数据流编程模型
- 分布式运行时环境
- 教程
- API 教程
- DataStream API 教程
- Setup 教程
- 本地安装教程
- 在 Windows 上运行 Flink
- 例子
- 批处理示例
- 应用开发
- 项目构建设置
- Java 项目模板
- Scala 的项目模板
- 配置依赖关系,连接器,库
- 基础 API 概念
- Scala API 扩展
- Java Lambda 表达式
- Flink DataStream API 编程指南
- 活动时间
- 事件时间/处理时间/摄取时间
- 活动时间和水印
- 状态与容错
- 算子
- DataStream 转换
- 物理分区
- 任务链和资源组
- 流连接器
- 旁路输出
- Python 编程指南(流)Beta
- 测试
- 实验特点
- Flink DataSet API 编程指南
- 数据集转换
- 容错
- 在数据集中压缩数据元
- 迭代
- Python 编程指南 Beta
- 连接器
- Hadoop 兼容性测试版
- 本地执行
- 群集执行
- Table API 和 SQL
- 概念和通用 API
- 流处理概念
- 连接到外部系统
- Table API
- SQL
- 内置函数
- 用户定义的源和接收器
- 用户定义的函数
- SQL 客户端测试版
- 数据类型和序列化
- 为 Flink 程序注册自定义序列化程序
- 管理执行
- 执行配置
- 程序打包和分布式执行
- 并行执行
- 执行计划
- 重启策略
- 类库
- FlinkCEP - Flink 的复杂事件处理
- 风暴兼容性 Beta
- 项目配置
- 执行 Storm 拓扑
- 在 Flink 流程序中嵌入 Storm 算子
- Flink Extensions
- Storm 兼容性示例
- Gelly:Flink Graph API
- 图 API
- FlinkML - Flink 的机器学习
- 最佳实践
- API 迁移指南
- 部署和运营
- 集群和部署
- 独立群集
- YARN 设置
- Mesos 设置
- Kubernetes 设置
- Docker 设置
- 亚马逊网络服务(AWS)
- Google Compute Engine 设置
- 先决条件
- 在 Google Compute Engine 上部署 Flink
- MapR 设置
- Hadoop 集成
- JobManager 高可用性(HA)
- 状态和容错
- 检查点
- 保存点
- 状态后台
- 调整检查点和大状态
- 配置
- 生产准备清单
- 命令行界面
- Scala REPL
- Kerberos 身份验证设置和配置
- SSL 设置
- 文件系统
- 升级应用程序和 Flink 版本
- 调试和监控
- 度量
- 如何使用日志记录
- 历史服务器
- 监控检查点
- 监测背压
- 监控 REST API
- 调试 Windows 和事件时间
- 调试类加载
- 应用程序分析
- 使用 Java Flight Recorder 进行性能分析
- 使用 JITWatch 进行分析
- Flink Development
- 将 Flink 导入 IDE
- 从 Source 建立 Flink
- 内幕
- 组件堆栈
- 数据流容错
- 工作和调度
- 任务生命周期
- 文件系统
- 实现
- 坚持保证
- 更新文件内容
- 覆盖文件
- 线程安全
Scala 的项目模板
构建工具
Flink 项目可以使用不同的构建工具构建。为了快速入门,Flink 为以下构建工具提供了项目模板:
这些模板可帮助您设置项目结构并创建初始构建文件。
SBT
创建项目
您可以通过以下两种方法之一构建新项目:
$ sbt new tillrohrmann/flink-project.g8
这将提示您输入几个参数(项目名称,flink 版本...),然后从 flink-project 模板 创建一个 Flink 项目。您需要 sbt> = 0.13.13 才能执行此命令。如有必要,您可以按照此 安装指南 获取。
$ bash <(curl https://flink.apache.org/q/sbt-quickstart.sh)
This will create a Flink project in the specified project directory.
构建项目
要构建项目,您只需发出 sbt clean assembly
命令即可。这将在 target / scala_your-major-scala-version / 目录中创建 fat-jar your-project-name-assembly-0.1-SNAPSHOT.jar 。
运行项目
要运行项目,您必须发出 sbt run
命令。
默认情况下,这将在运行的同一 JVM 中运行您的作业 sbt
。要在不同的 JVM 中运行您的作业,请添加以下行 build.sbt
fork in run := true
的 IntelliJ
我们建议您使用 IntelliJ 进行 Flink 作业开发。要开始,您必须将新创建的项目导入 IntelliJ。您可以通过 File -> New -> Project from Existing Sources...
然后选择项目目录来执行此 算子操作。然后,IntelliJ 将自动检测 build.sbt
文件并设置所有内容。
为了运行 Flink 作业,建议选择 mainRunner
模块作为 运行/调试配置 的类路径。这将确保所有设置为 提供的 依赖项在执行时可用。您可以配置 运行/调试配置 通过 Run -> Edit Configurations...
,然后选择 mainRunner
从 模块的使用类路径 的 Dropbox。
Eclipse
要将新创建的项目导入 Eclipse ,首先必须为其创建 Eclipse 项目文件。这些项目文件可以通过 sbteclipse 插件创建。将以下行添加到您的 PROJECT_DIR/project/plugins.sbt
文件中:
addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "4.0.0")
在 sbt
使用以下命令创建 Eclipse 项目文件
> eclipse
现在,您可以通过项目将项目导入 Eclipse File -> Import... -> Existing Projects into Workspace
,然后选择项目目录。
Maven
要求
唯一的要求是使用 Maven 3.0.4 (或更高版本)和 Java 8.x 安装。
创建项目
使用以下命令之一 创建项目 :
$ mvn archetype:generate \
-DarchetypeGroupId=org.apache.flink \
-DarchetypeArtifactId=flink-quickstart-scala \
-DarchetypeCatalog=https://repository.apache.org/content/repositories/snapshots/ \
-DarchetypeVersion=1.7-SNAPSHOT
这允许您 命名新创建的项目 。它将以交互方式询问您 groupId,artifactId 和包名称。
$ curl https://flink.apache.org/q/quickstart-scala-SNAPSHOT.sh | bash -s 1.7-SNAPSHOT
注意 :对于 Maven 3.0 或更高版本,不再可以通过命令行指定存储库(-DarchetypeCatalog)。如果要使用 SNAPSHOT 存储库,则需要向 settings.xml 添加存储库条目。有关此更改的详细信息,请参阅 Maven 官方文档
检查项目
您的工作目录中将有一个新目录。如果您使用了 curl 方法,则会调用该目录 quickstart
。否则,它的名称为 artifactId
:
$ tree quickstart/
quickstart/
├── pom.xml
└── src
└── main
├── resources
│ └── log4j.properties
└── scala
└── org
└── myorg
└── quickstart
├── BatchJob.scala
└── StreamingJob.scala
示例项目是一个 Maven 项目 ,它包含两个类: StreamingJob 和 BatchJob 是 DataStream 和 DataSet 程序的基本框架程序。的 主要 方法是程序的入口点,无论是对在-IDE 测试/执行并作适当的部署。
我们建议您 将此项目导入 IDE 。
IntelliJ IDEA 支持 Maven 开箱即用,并为 Scala 开发提供插件。根据我们的经验,IntelliJ 为开发 Flink 应用程序提供了最佳体验。
对于 Eclipse,您需要以下插件,您可以从提供的 Eclipse Update Sites 安装这些插件:
- Eclipse 4.x
- Eclipse 3.8
构建项目
如果要 构建/打包项目 ,请转到项目目录并运行' mvn clean package
'命令。您将 找到一个 包含您的应用程序 的 JAR 文件 ,以及您可能已作为依赖项添加到应用程序的连接器和库: target/<artifact-id>-<version>.jar
。
注意: 如果您使用与 StreamingJob 不同的类作为应用程序的主类/入口点,我们建议您相应地更改文件中的 mainClass
设置 pom.xml
。这样,Flink 可以从 JAR 文件运行时间应用程序,而无需另外指定主类。
下一步
写你的申请!
如果您正在编写流处理应用程序并且正在寻找灵感来写什么,请查看 流处理应用程序教程
如果您正在编写批处理应用程序,并且正在寻找要编写的内容,请查看 批处理应用程序示例
有关 API 的完整概述,请查看 DataStream API 和 DataSet API 部分。
在这里, 您可以了解如何在本地群集上的 IDE 外部运行应用程序。
如果您有任何问题,请在我们的 邮件列表中查询 。我们很乐意提供帮助。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论