9号彩票开户

关注微信  |  微博  |  腾讯微博  |  RSS订阅
读者QQ群③:168129342,投稿请发dashuju36@qq.com
我要投稿

初识大数据

大数据

作者:大圣教育

俺老孙通过和同学们的交流发现,好多同学对大数据BIG DATA(BD也就是笨蛋什么),这个东西半知半解。

其实凭良心讲,我也搞不太懂哈哈哈哈哈哈!

所以搬板凳不耻下问的去请教了一下kanny老师!

然后回来反哺大家了!

 

Big Data是近来的一个技术热点,但从名字就能判断出来它并不是什么新词。毕竟,大匙一个相对概念。历史上,数据库、数据仓库、数据集市等信息管理领域的技术,很大程度上也是为了解决大规模数据的问题。被誉为数据之父的Bill Inmon早在20世纪90年代就经常将Big Data挂在嘴边了。要处理如此庞大的数据,它的基本流程如下图。

流程

数据抽取与集成

● 大数据的一个重要特点就是多样性,这就意味着数据来源极其广泛,数据类型极为繁杂。这种复杂的数据环境给大数据的处理带来极大的挑战。

● 要想处理大数据,首先必须对所需数据源的数据进行抽取和集成,从中提取出关系和实体,经过关联和聚合之后采用统一定义的结构来存储这些数据。

● 在数据集成和提取时需要对数据进行清洗,保证数据质量及可信性。

● 现有的数据抽取与集成方式可以大致分为以下四种类型:数据整合、数据联邦、数据传播和混合方法等。

数据分析

● 传统的分析技术如数据挖掘、机器学习、统计分析等在大数据时代需要做出调整,因为这些技术在大数据时代面临着一些新的挑战:

1、数据量大并不一定意味着数据价值的增加,相反这往往意味着数据噪音的增多

2、大数据时代的算法需要进行调整(邦弗朗尼原理)

3、数据量大并不一定意味着数据价值的增加,相反这往往意味着数据噪音的增多

数据解释

● 数据分析是大数据处理的核心,但是用户往往更关心结果的展示。如果分析的结果正确但是没有采用适当的解释方法,则所得到的结果很可能让用户难以理解,极端情况下甚至会误导用户。

● 大数据时代的数据分析结果往往也是海量的,同时结果之间的关联关系极其复杂,采用传统的解释方法基本不可行

● 可以考虑从下面两个方面提升数据解释能力:

— 引入可视化技术

— 让用户能够在一定程度上了解和参与具体的分析过程

然而,Big Data作为一个专有名词成为热点,主要应归功于近年来互联网、云计算、移动和物联网的迅猛发展。无所不在的移动设备、RFID、无限传感器每分每秒都在产生数据,数以亿计用户的互联网服务时时刻刻在产生巨量的交互……要处理的数据量实在是太长、增长太快了,而业务需求和竞争压力对数据处理的实时性、有效性又提出了更高要求,传统的常规技术手段根本无法应付。在这种情况下,技术人员纷纷研发和采用了一批新技术。

01 存储

存储分布式缓存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案,内存数据库等

02 计算

Map Reduce、流计算、图计算……

03 应用

HIVE,pig,mahout,Sqoop以及ETL工具,统计与报告工具等

下面以Google为例,我们来看看它的技术演进

技术演进

Google 于2006 年首先提出了云计算的概念,并研发了一系列云计算技术和工具。难能可贵的是Google 并未将这些技术完全封闭,而是以论文的形式逐步公开。

正是这些公开的论文,使得以GFS、MapReduce、Bigtable为代表的一系列大数据处理技术被广泛了解并得到应用,同时还催生出以Hadoop为代表的一系列云计算开源工具。这些工具有些是完整的处理平台,有些则是专门针对特定的大数据处理应用。

论文

现金一些主流的处理平台和工具

就实践方面来说,Hadoop 已经发展成为目前最为流行的大数据处理平台

Hadoop是一个分布式系统基础架构,由Apache基金会开发。

Hadoop是一个开源的可运行于大规模集群上的分布式并行编程框架,借助于Hadoop,程序员可以轻松地编写分布式并行程序,将其运行于计算机集群上,完成海量数据的计算。

Hadoop采用了分布式存储方式,提高了读写速度,并扩大了存储容量。采用MapReduce来整合分布式文件系统上的数据,可保证分析和处理数据的高效。与此同时,Hadoop还采用存储冗余数据的方式保证了数据的安全性。

Hadoop作用

Hadoop中HDFS的高容错特性,以及它是基于Java 语言开发的,这使得Hadoop可以部署在低廉的计算机集群中,同时不限于某个操作系统。Hadoop中HDFS的数据管理能力,MapReduce处理任务时的高效率,以及它的开源特性,使其在同类的分布式系统中大放异彩,并在众多行业和科研领域中被广泛采用。

Hadoop功能和优点

●可扩展:不论是存储的可扩展还是计算的可扩展都是Hadoop的设计根本。

●经济:框架可以运行在任何普通的PC上。

●可靠:分布式文件系统的备份恢复机制以及MapReduce的任务监控保证了分布式处理的可靠性。(元数据磁盘错误,心跳测试,副本数)

●高效:分布式文件系统的高效数据交互实现以及MapReduce结合Local Data处理的模式,为高效处理海量的信息作了基础准备。

Hadoop生态系统图

生态图

谢谢阅读!

End.

转载请注明来自36大数据(36dsj.com):36大数据 » 初识大数据

36大数据   除非特别注明,本站所有文章均不代表本站观点。报道中出现的商标属于其合法持有人。请遵守理性,宽容,换位思考的原则。

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
友情链接:98彩票  北京赛车pk拾分析软件  北京赛车pk拾评测  9号彩票平台  幸运农场  

免责声明: 本站资料及图片来源互联网文章,本网不承担任何由内容信息所引起的争议和法律责任。所有作品版权归原创作者所有,与本站立场无关,如用户分享不慎侵犯了您的权益,请联系我们告知,我们将做删除处理!