9号彩票开户

关注微信  |  微博  |  腾讯微博  |  RSS订阅
读者QQ群③:168129342,投稿请发dashuju36@qq.com
我要投稿

Spark 第2页

如何用Spark解决一些经典MapReduce问题?

雪姬   2016-12-06

文 | 谭杨 摘要 Spark是一个Apache项目,它被标榜为“快如闪电的集群计算”。它拥有一个繁荣的开源社区,并且是目前最活跃的Apache项目。Spark提供了一个更快、更通用的数据处理平台。和Hadoo...

阅读全文

基于Spark的用户行为路径分析的产品化实践

雪姬   2016-12-01

文 | 李亮 1. 什么是用户行为路径 用户行为路径分析是互联网行业特有的一类数据分析方法,它主要根据每位用户在App或网站中的点击行为日志,分析用户在App或网站中各个模块的流转规律与特...

阅读全文

Spark体系架构

蝙蝠侠   2016-11-10

作者:刘帝伟 最近看到一篇关于Spark架构的博文,作者是 Alexey Grishchenko。看过Alexey博文的同学应该都知道,他对Spark理解地非常深入,读完他的 “spark-architecture” 这篇博文,有种醍...

阅读全文

理解Spark的核心RDD

小数点   2016-10-21

作者:张逸 与许多专有的大数据处理平台不同,Spark建立在统一抽象的RDD之上,使得它可以以基本一致的方式应对不同的大数据处理场景,包括MapReduce,Streaming,SQL,Machine Learning以及...

阅读全文

Spark生态系统中的图数据分析知识

蝙蝠侠   2016-10-19

作者:Srini Penchikala 图结构可有效表示稀疏矩阵,因而图数据分析可用于实现大数据分析。对于Spark生态系统中的图处理系统GraphX,《Spark GraphX in Action》一书给出了详细的教程和典型...

阅读全文

基于Spark与ROS分布式无人驾驶模拟平台

小数点   2016-09-23

作者:刘少山 无人驾驶的安全性和可靠性是通过海量的功能和性能测试来保证的。无人驾驶系统是一个复杂的系统工程,在它的整个研发流程中,测试工作至关重要同时也繁重复杂。显然将全部测试...

阅读全文

Spark 多个Stage执行是串行执行的么?

小数点   2016-09-20

作者:祝威廉 上次在做内部培训的时候,我讲了这么一句: 一个Job里的Stage都是串行的,前一个Stage完成后下一个Stage才会进行。 显然上面的话是不严谨的。 看如下的代码: 这里的话,我们...

阅读全文

举例说明Spark RDD的分区、依赖

蝙蝠侠   2016-09-01

作者:牛肉圆粉不加葱 例子如下: 从输出我们可以看出,对于任意一个RDD x来说,其dependencies代表了其直接依赖的RDDs(一个或多个)。那dependencies又是怎么能够表明RDD之间的依赖关系呢...

阅读全文

利用Spark Streaming实现分布式采集系统

小数点   2016-08-30

作者:祝威廉 本文由 祝威廉 授权发布,版权所有归作者,转载请联系作者! 之前我在微信朋友圈发了一段话,说明Spark Streaming 不仅仅是流式计算,也是一类通用的模式,可以让你只关注业务...

阅读全文

Spark体系架构

雪姬   2016-08-29

译者:Nclaus 最近看到一篇关于Spark架构的博文,作者是 Alexey Grishchenko。看过Alexey博文的同学应该都知道,他对Spark理解地非常深入,读完他的 “spark-architecture” 这篇博文,有种醍...

阅读全文

如何做Spark 版本兼容

雪姬   2016-08-25

作者:祝威廉 本文由 简书祝威廉 授权发布,版权所有归作者,转载请联系作者! 我们知道Spark2.0 ,Spark 1.6还有Spark 1.5 三者之间版本是不兼容的,尤其是一些内部API变化比较大。如果你...

阅读全文

Spark 2.0 Structured Streaming 分析

雪姬   2016-08-24

作者:祝威廉 本文由 简书 祝威廉 授权发布,版权所有归作者,转载请联系作者! 前言 Spark 2.0 将流式计算也统一到DataFrame里去了,提出了Structured Streaming的概念,将数据源映射为一...

阅读全文

白话大数据 | 流处理技术Streaming是什么?

雪姬   2016-08-15

作者:星环科技 吴大迪 本文由星环科技授权发布,版权所有归作者,转载请联系作者。 又到发工资日了,小编正要屁颠屁颠的去把购物车给一键下单,突然想起来得先把工资上缴给麻麻,然后再从...

阅读全文

友情链接:9号彩票官网  幸运农场代理  北京赛车pk拾网站制作  北京赛车pk拾qq群  北京赛车pk拾开奖时间  

免责声明: 本站资料及图片来源互联网文章,本网不承担任何由内容信息所引起的争议和法律责任。所有作品版权归原创作者所有,与本站立场无关,如用户分享不慎侵犯了您的权益,请联系我们告知,我们将做删除处理!