Question

Spring for Apache Hadoop 的目标在于简化 Hadoop 应用程序的开发。Hadoop 所包含的功能远远超出了在 wordcount 样例中所展示的那样 - 仅执行单一的 MapReduce Job 并将几个文件在 HDFS 中移进移出。搭建现实世界里的 Hadoop 应用还需要非常多的功能，包括收集事件驱动数据、使用像 Pig 这样的程序语言来编写数据分析 Job、调度、链接多个分析 Job，以及在 HDFS 与其他系统如数据库或传统的文件系统之间移动大量数据。

Spring Integration 提供了协调事件驱动活动的基础功能，例如，传送日志文件、处理事件流、实时分析或者触发批量数据处理分析 Job 的执行。Spring Batch 提供了协调工作流中粗粒度（coarse-grained）步骤（step）的框架，这其中包含了基于 Hadoop 的步骤以及 Hadoop 之外的步骤。同时 Spring Batch 也提供了高效的数据处理能力，可在不同的数据源与 HDFS 之间移动数据，例如 Flat 文件、关系型数据或 NoSQL 数据库。

Spring for Apache Hadoop 与 Spring Integration 和 Spring Batch 的结合提供了全面且一致的编程模型，以用于实现 Hadoop 应用程序，这类应用可以涵盖各种类型的功能。另一个产品 Splunk，也需要大量的功能来构建现实世界中大数据管道的解决方案。Spring 对 Splunk 的支持可帮助你创建复杂的 Splunk 应用，并且可融合这两种技术以提供解决方案。