9号彩票开户

关注微信  |  微博  |  腾讯微博  |  RSS订阅
读者QQ群③:168129342,投稿请发dashuju36@qq.com
我要投稿

21页PPT重磅发布:Mariana——腾讯深度学习平台的进展与应用

图文版请看这:

深度学习系列:深度学习在腾讯的平台化和应用实践(一)

深度学习系列:Mariana DNN多GPU数据并行框架 微信语音是怎么来的?(二)

深度学习系列:Mariana CNN并行框架与图像识别(三)

深度学习系列:解密最接近人脑的智能学习机器——深度学习及并行化实现(四)

邹永强,腾讯数据平台部精准推荐中心深度学习方向负责人

邹永强目前负责腾讯深度学习平台Mariana设计,开发与应用。已经成功支持微信语音识别,微信图像识别,正在开展广点通图文广告点击率预估提升工作。有丰富的自研分布式文件系统开发和数千台服务器运营经验,具备领导设计和开发大数据并行处理解决方案经验。拥有11项专利,涉及并行机器学习平台、分布式文件系统和分布式数据库。曾获PDCAT2008最佳论文奖和NPC2010最佳论文奖提名,近期研究工作发表于国际顶级学术会议 VLDB2014。邹永强2010年于中科院计算所获分布式系统方向博士学位。

记者:您所在的公司,都曾使用过哪些大数据技术?您对这些技术满意的地方和不满意的地方分别有什么?

邹永强:腾讯公司有多个部门在广泛使用多种大数据技术。以数据平台部为例,有TDW作为分布式数据仓库提供增强的Hive功能;有Gaia提供分布式资源管理;有HBase作为分布式数据库;有全内存的分布式key-value系统TDE;利用Storm完成流式计算;利用Spark完成机器学习任务;利用分布式消息系统完成可靠的消息分发;有Mariana提供深度学习的CPU集群框架和GPU并行框架。

上述技术令人满意的地方在于生态系统造就了技术的快速发展,对支撑业务系统发展起到了重要作用,这些包括了开源社区和公司内同事的共同努力。腾讯也将TDW开源了,以将腾讯对Hive系的改进回馈社区。

上述每项技术都有或多或少的问题,因为涉及的技术比较多,每个技术的问题不尽相同,我在此不一一列举。共性的问题是在支撑腾讯的数据规模时,已有系统难以提供足够的性能、可靠性和易用性支持,往往需要对系统进行深度定制和优化。

记者:根据您的了解,目前类似的企业中,在数据方面,遇到的最大困难是什么?

邹永强:目前数据方面的困难已不再是海量数据的存储和离线分析,而是数据的实时化处理,以及通过机器学习和深度学习提取出有业务价值的信息,从数据产生智能。

以深度学习为例,对软件、硬件、开发者都有一些新困难:

  • 软件方面,急需深度学习方面的公共支撑的软件框架,以及算法库,帮助完成快速的模型训练和应用开发;
  • 硬件方面,深度学习往往是计算密集型,需要高计算密度的硬件设备,包括GPU、FPGA,以及其他的新型硬件;此外,由于深度学习做大规模并行计算的需求,导致对高性能网络的需求与日俱增;
  • 开发者方面,首先需要深刻理解深度学习的高性能计算系统和Hadoop等大数据处理系统的差异,前者计算密集,后者数据密集,由此带来的一系列硬件选择、软件系统设计、编程方式等显著差异。其次,深度学习的系统开发需要算法研究和系统研究的有机结合,需要算法和系统共同设计,共同改进,两者缺一不可。

记者:在大数据领域,目前还有哪些技术是您正在观察和研究的,为什么您看好这些技术?

邹永强:从腾讯的数据平台部的情况看,目前关注的大数据技术集中在下述方面:

  • 数据存储和处理,包括了Hadoop、Hive、HBase,以及腾讯的Gaia等;
  • 实时计算,包括了Storm、Spark、Kafka,以及腾讯的分布式消息系统等;
  • 深度学习和机器学习,包括DistBelief、Adam、GraphLab,以及腾讯的Mariana等。

此外,对领域的诸多技术我们也在持续而广泛的关注。我个人看好技术的理由通常是有明确而重要的要解决的问题,有漂亮的设计与实现,有活跃的社区等。

Mariana针对腾讯多种应用,打造了三套框架:

1)Mariana DNN:深度神经网络的多GPU数据并行框架 ;

2)Mariana CNN:深度卷积神经网络的多GPU并行框架 ;

3)Mariana Cluster:深度神经网络的CPU集群框架。

Mariana基于GPU集群进一步提升模型规模和训练性能。Mariana在微信语音识别、微信图像识别均已成功落地应用,在图文类效果广告点击率提升方面也取得初步应用。

下面是详细的PPT:

Mariana Mariana Mariana Mariana Mariana Mariana Mariana Mariana Mariana Mariana Mariana Mariana Mariana Mariana Mariana Mariana Mariana Mariana Mariana Mariana Mariana

转载请注明来自36大数据(36dsj.com):36大数据 » 21页PPT重磅发布:Mariana——腾讯深度学习平台的进展与应用

36大数据   除非特别注明,本站所有文章均不代表本站观点。报道中出现的商标属于其合法持有人。请遵守理性,宽容,换位思考的原则。

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
友情链接:北京赛车pk拾遗漏  9号彩票  北京赛车pk拾群  幸运农场代理  北京赛车pk拾人工计划  

免责声明: 本站资料及图片来源互联网文章,本网不承担任何由内容信息所引起的争议和法律责任。所有作品版权归原创作者所有,与本站立场无关,如用户分享不慎侵犯了您的权益,请联系我们告知,我们将做删除处理!