9号彩票开户

关注微信  |  微博  |  腾讯微博  |  RSS订阅
读者QQ群③:168129342,投稿请发dashuju36@qq.com
我要投稿

Spark 第3页

【源码剖析】- Spark 新旧内存管理方案(下)

小数点   2016-07-25

作者:牛肉圆粉不加葱 本文由简书 牛肉圆粉不加葱 授权转载,版权所有归作者,转载请联系作者! 上一篇文章【源码剖析】- Spark 新旧内存管理方案(上)介绍了旧的内存管理方案以及其实现类 St...

阅读全文

【源码剖析】- Spark 新旧内存管理方案(上)

小数点   2016-07-23

作者:牛肉圆粉不加葱 本文由简书 牛肉圆粉不加葱 授权转载,版权所有归作者,转载请联系作者! Spark 作为一个以擅长内存计算为优势的计算引擎,内存管理方案是其非常重要的模块。作为使用...

阅读全文

Spark 核心 RDD 剖析(下)

雪姬   2016-07-22

作者:牛肉圆粉不加葱 本文由简书牛肉圆粉不加葱授权发布,版权所有归作者,转载请联系作者! 上文Spark 核心 RDD 剖析(上)介绍了 RDD 两个重要要素:partition 和 partitioner。这篇文章将...

阅读全文

Spark 核心 RDD 剖析(上)

小数点   2016-07-21

作者:牛肉圆粉不加葱 本文由简书 牛肉圆粉不加葱 授权发布,版权所有归作者,转载请联系作者! 本文将通过描述 Spark RDD 的五大核心要素来描述 RDD,若希望更全面了解 RDD 的知识,请移步...

阅读全文

Hadoop、Hive、Spark 之间是什么关系?

小数点   2016-07-11

作者:Xiaoyu Ma ,大数据工程师 本文由知乎Xiaoyu Ma 授权发布,版权所有归作者,转载者请联系作者! 大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单...

阅读全文

spark 应用程序性能优化|12 个优化方法

小数点   2016-07-07

写在前面 本系列是综合了自己在学习spark过程中的理解记录 + 对参考文章中的一些理解 + 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录,所以一...

阅读全文

Spark大数据处理系列之Machine Learning

雪姬   2016-07-04

作者 Srini Penchikala ,译者 侠天 本文是《Spark大数据处理》系列的第四篇,其他三篇:Spark介绍、Saprk SQL和Spark Streaming。最近几年,机器学习、预测分析和数据科学主题得到了广泛的...

阅读全文

Spark 交互式处理上百 TB 数据

雪姬   2016-06-30

译者:伯乐在线 – fzr Apache Spark在内存数据处理领域有很多创新。有了这个框架,你可以上传数据到集群内存,并在交互模式下以非常快的速度处理这些数据(交互模式是Spark另一个重要...

阅读全文

二部图聚类的Spark实现及改进

小数点   2016-06-29

作者:张豪 1算法介绍 该算法来自于文献[1],该算法把二部图聚类问题转换为图划分问题,而图划分问题通过谱聚类算法解决。该算法的主要创新在于解决了以前算法只能根据二部图其中一部图,...

阅读全文

Spark 在金融领域的应用——日内走势预测

小数点   2016-06-27

作者:李涛涛 通联数据 1. 同花顺收费版之走势预测 2014年后半年开始,国内 A 股市场可谓是热火朝天啊,路上的人谈的都是股票。小弟虽然就职金融互联网公司,但之前从来没有买过股票,但每...

阅读全文

Spark VS Hadoop 两大大数据分析系统深度解读

雪姬   2016-06-21

作者:张景龙 摘要:大数据,无论是从产业上,还是从技术上来看,都是目前的发展热点。在中国,政府控制着80%的数据,剩下的多由“BAT”这样的大公司拥有,中小企业如何构建自己的大数据系统?...

阅读全文

Spark的三种集群deploy模式对比

雪姬   2016-06-07

作者:字母歌 Spark有三种集群部署模式,或者叫做集群管理模式。分别是standalone,YARN和Mesos。这三种模式其实都是master/slave模式。 那么在实际的项目中,我们该如何对比选择呢?下面是我...

阅读全文

用实例讲解Spark Sreaming

小数点   2016-05-30

作者: 侠天 本篇文章用Spark Streaming +Hbase为列,Spark Streaming专为流式数据处理,对Spark核心API进行了相应的扩展。什么是Spark Streaming?首先,什么是流式处理呢?数据流是一个数据...

阅读全文

Spark性能优化指南——基础篇

小数点   2016-05-13

前言 在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的...

阅读全文

park会把数据都载入到内存么?

雪姬   2016-04-20

作者:祝威廉 这篇文章算是个科普贴。如果已经熟悉Spark的就略过吧。 前言 很多初学者其实对Spark的编程模式还是RDD这个概念理解不到位,就会产生一些误解。 比如,很多时候我们常常以为一...

阅读全文

友情链接:98彩票  豪门会彩票  鸿利彩票  北京赛车pk拾官方开奖  易发彩票  

免责声明: 本站资料及图片来源互联网文章,本网不承担任何由内容信息所引起的争议和法律责任。所有作品版权归原创作者所有,与本站立场无关,如用户分享不慎侵犯了您的权益,请联系我们告知,我们将做删除处理!