9号彩票开户

关注微信  |  微博  |  腾讯微博  |  RSS订阅
读者QQ群③:168129342,投稿请发dashuju36@qq.com
我要投稿

Spark 1.3更新概述:176个贡献者,1000+ patches

近日,Databricks正式发布Spark1.3版本。在此版本中,除下之前我们报道过的DataFrameAPI,此次升级还覆盖Streaming、ML、SQL等多个组件。当下,1.3版本已在 ApacheSpark页面提供下载,下面一起浏览Patrick Wendell在Databricks Blog上对Spark1.3版本的概括(PS:DataFrame请访问“ Spark新年福音:一个用于大规模数据科学的API——DataFrame ”一文)。

以下为译文

SparkSQL脱离Alpha版本

在1.3版本中,SparkSQL正式脱离Alpha版本,提供了更好的SQL标准兼容。同时,SparkSQL数据源API亦实现了与新组件DataFrame的交互,允许用户直接通过Hive表格、Parquet文件以及一些其他数据源生成DataFrame。用户可以在同一个数据集上混合使用SQL和dataframe操作符。新版本提供了从JDBC读写表格的能力,可以更原生地支持Postgres、MySQL及其他RDBMS系统。同时,该API还为JDBC(或者其他方式)连接的数据源生成输出表格提供写入支持。

> CREATE TEMPORARY TABLE impressions
USING org.apache.spark.sql.jdbc
OPTIONS (
url "jdbc:postgresql:dbserver",
dbtable "impressions"
)

> SELECT COUNT(*) FROM impressions

内置支持SparkPackages

在2014年底,我们着手为Spark建立一个新的社区项目目录站点——SparkPackages。当下,SparkPackages已经包含了开发者可以使用的45个社区项目,包括数据源集成、测试工具以及教程。为了更方便Spark用户使用,在Spark1.3中,用户可以直接将已发布包导入Sparkshell(或者拥有独立flag的程序中)。

# Launching Spark shell with a package
./bin/spark-shell --packages databricks/spark-avro:0.2

SparkPackages还为开发者建立了一个SBT插件来简化包的发布,并为发布包提供了自动地兼容性检查。

在SparkStreaming中提供了更低等级的Kafka支持

从过去发布的几个版本来看,Kafka已经成为SparkStreaming一个非常人气的输入源。Spark1.3引入了一个新的Kakfastreamingsource,它利用了Kafka的回放能力,在非预写日志配置下提供了一个更可靠的交付语义。同时,针对那些需求强一致性的应用程序,它还提供了实现了Exactly-OnceGuarantees的原语。在Kafka的支持上,1.3版本还添加了一个PythonAPI以及支持这个API的原语。

MLlib中的新算法

Spark1.3还提供了大量的新算法。其中,LatentDirichletAllocation(LDA)成为了第一个出现在MLlib中的主题建模算法。在这之前,Spark的逻辑回归已经通过多元逻辑回归(multinomiallogisticregression)支持多类分类(multiclassclassification)。而在这个版本中,聚类再次被提升,GaussianMixtureModels和PowerIterationClustering被引入。并通过FP-growth扩展了频繁项集挖掘(FIM,FrequentItemsetsMining)。最后,MLlib还为DistributedLinearAlgebra引入了有效的块矩阵抽象。

via:CSDN

End.

转载请注明来自36大数据(36dsj.com):36大数据 » Spark 1.3更新概述:176个贡献者,1000+ patches

36大数据   除非特别注明,本站所有文章均不代表本站观点。报道中出现的商标属于其合法持有人。请遵守理性,宽容,换位思考的原则。

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
友情链接:北京赛车pk拾群  幸运农场  9号彩票  北京赛车pk拾官方开奖  熊猫彩票  

免责声明: 本站资料及图片来源互联网文章,本网不承担任何由内容信息所引起的争议和法律责任。所有作品版权归原创作者所有,与本站立场无关,如用户分享不慎侵犯了您的权益,请联系我们告知,我们将做删除处理!