VMware最近宣布,他们已经开始提供Spring Hadoop,这个项目整合了Spring框架和Apache Hadoop平台。该项目提供了一种方便的机制,让我们可以通过Spring容器来配置、创建和执行各种各样的服务和工具,像MapReduce、Hive、Pig和Cascading作业等。此外,该项目还通过JVM脚本语言——像Groovy、JRuby、Jython和Rhino——提供了对HDFS数据访问的支持,为HBase提供了声明式配置的支持,以及对Hadop工具(包括FS Shell和DistCp)提供了声明和编程的支持。
可能更有意义的是,工具还为基于Spring的应用程序提供了一种便利方式,可以使用Hadoop作为数据分析工具,而这些数据可能来自多个源,像Spring Integration和Spring Batch,以及传统的关系型数据库等等。“例如,你可以让Hadoop作业成为Spring Batch环境中的tasklet,从而我们可以开始对其进行调整,并在作业完成时拥有触发器,”
或者我们可能让Spring Integration来监控目录中是否有文件进入,然后使用它作为触发器来初始化Hadoop作业。你可以开始真正把这集成到Spring中,并使用所有其它组件把Hadoop以及各种数据处理工具连接到标准的企业工具集中。
这个项目和Spring Data项目最初的适用范围更普遍,这反映出在企业应用程序中NoSQL和大数据越来越重要。Colyer解释说:
在很长一段时间之后,可能是十年之后,当来自于企业应用程序的数据想要知道,“我如何与关系型数据库对话?”,而解决方案很显而易见,企业数据现在看起来已经很不一样了。我们已经看到有不同的存储和方法,并且越来越明显,企业数据的一种非常重要并且不断成长的方式就是大数据和批量数据处理。
这样,和新发布的Hadoop项目一样,它更广泛的目标是为各种不同样式的SQL和NoSQL数据库——关系型数据库、图型数据库、文档数据库、键值数据库等等——提供一等支持,并显式地支持某些那种更流行的产品类型。当前这包括对JPA的支持,还有MongoDB、Redis和Neo4J,并且Cassandra方面也在进行中。Colyer认为这个列表反映出当前SpringSource的企业用户中处于领先地位的产品,但是需要强调的是,在大多数大型企业中,对NoSQL数据库的使用还处于初级阶段。
VMware会在加利福尼亚的Santa Clara举办的O'Reilly Strata大会上做演讲,介绍Spring Hadoop项目。
分享到:
相关推荐
spring hadoop 分布式 海量数据 集群 mapreduce 将hadoop于spring集成到一起工作
Spring for Apache Hadoop 提供了 Spring 框架用于创建和运行 Hadoop MapReduce、Hive 和 Pig 作业的功能,包括 HDFS 和 HBase。如果你需要简单的基于 Hadoop 进行作业调度,你可添加 Spring for Apache Hadoop 命名...
集成spring3-hadoop0.2.0 eclipse3.7快速开发 mapreduce程序!
Spring Data for Apache Hadoop API。 Spring Data for Apache Hadoop 开发文档
利用hadoop的rpc包简单与spring结合,实现了一个简单的分布式。
spring data hadoop 参考文档
java整合spring和hadoop HDFS全部jar
- 不懂运行,下载完可以私聊问,可远程教学 该资源内项目源码是个人的毕设,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! <项目介绍> 1、该资源内项目代码都经过测试运行成功,...
基于Hadoop+SpringCloud+Vue的企业级网盘系统设计与实现
spring-data-hadoop-2.0.4.RELEASE
spring-data-hadoop-2.0.4.RELEASE.jar
spring-data-hadoop-1.0.0源码包
spring-data-hadoop的准官方文档、(既然是官方的、那就是英文的)内含xml的文件配置!!
spring-data-hadoop-1.0.0的jar包
基于SpringMVC+Spring+HBase+Maven搭建的Hadoop分布式云盘系统.zip 语言:Java 框架:springMVC 数据库:HBASE 可以作为毕业设计
spring-data-hadoop-2.2.0.RELEASE(含源码)
Java操作hbase完成hbase数据文件下载
这是spring的一个jar包,必不可少,必须需要,自取吧,我用了,还行
这是那个hadoop需要用到的jar包,倒进去就能用,一般用 maven远程下载,这个是下载来的,直接用spring-data-hadoop-core-2.4.0.RELEASE .jar
spring-hadoop-入门Spring for Apache Hadoop 入门示例