Question

基本的 Hadoop 应用程序都会包含一些 HDFS 操作与一些 job 提交的任务。可以使用 JobRunner 的 pre-action 和 post-action 属性将这些任务排序，让 HDFS 脚本操作在 job 提交之前或者之后执行，示例 11-29 说明了这一点。

示例 11-29 在 Bean 之间使用依赖关系来控制执行顺序

pre-action 属性引用 setupScript Bean，这个 Bean 又引用 copy-files.groovy 脚本，该脚本会重置系统的状态，这样不需要任何的命令行交互即可运行或重新运行这个程序。示例 11-30 说明了使用命令来构建和运行应用程序的方式。

示例 11-30 构建并运行基于 Spring 的 wordcount 应用程序

示例 11-31 的配置让 JobRunner 在执行多个 Hadoop job 之前与之后执行一些 HDFS 脚本。JobRunner 也实现了 Java 的 Callable 接口，它使用了 Java 的 Executor 框架让 JobRunner 的执行变得更为简单。这个方法在执行简单的工作流程时很方便，但是随着应用程序变得更为复杂，它并不能提供更多的帮助。针对 Hadoop 的扩展 Spring Batch 将处理 HDFS 与 job 操作链作为首要任务，这个时候就可以派上用场。我们将在 13.2 小节 “Hadoop 工作流”中探讨这些扩展。

示例 11-31 配置 JobRunner 来执行多个 HDFS 脚本和 job