2016年5月第19卷第9期中国管理信息化悦hinaManagementInformationizationMay袁2016Vol援19袁No援9浅析基于Hadoop的大数据分析与应用李文鹏渊大庆油田信息技术公司袁黑龙江大庆163000冤摘［］随着大数据技术正在向各行各业的渗透袁Hadoop作为数据分布式处理系统的典型代表袁已经成为该领域事实要的标准遥但Hadoop并不等于大数据袁它只是一个成功的处理离线数据的分布式系统袁大数据领域还存在众多其他类型的处理系统遥所以袁Hadoop代替不了大数据的全部袁但Hadoop是大数据时代的优秀代表遥本文主要介绍基于Hadoop的大数据分析特点袁然后具体介绍其主要应用袁以供参考遥［关键词］大数据曰Hadoop曰分布式处理系统doi:10.3969/j.issn.1673-0194.2016.09.087］TP315［］A］1673-0194渊2016冤09-0158-02［中图分类号文献标识码［文章编号0前言第三袁价值密度低遥以视频为例袁不间断监控视频中袁有价值的数据可能仅有一两秒遥找到有价值的信息有如沙里淘金袁其价值却又弥足珍贵遥第四袁处理速度快遥在数据量非常庞大的情况下袁也能做到数据的实时处理遥这一点和传统的数据挖掘技术有着本质的不同遥大数据分析技术是从多种大型数据量的信息中快速提取有价值的信息技术遥大数据的核心问题是数据本身的规模袁同时也包括对数据工具和平台数据的多重采集袁统称为分析系统遥在大数据发展的今天袁相关领域在大数据的应用都是看中其数据处理速度快的巨大优势袁通过大量尧快速的数据处理使问题具有突破性的进展遥因此袁在大数据时代到来时袁信息量的挑战不仅体现在如何利用大量的数据信息来提取相关的有价值的信息袁同时也天现在大数据强大的技术研发处理功能遥大数据所涉及的关键技术大致包括远个方面院数据采集与数据管理尧分布式存储和并行计算尧大数据应用开发尧数据分析与挖掘尧大数据前端应用尧数据服务和展现遥圆匀葬凿燥燥责大数据的主要应用伴随大数据技术的普及袁匀葬凿燥燥责因其开源的特点和卓越的性能成为一时的新宠袁甚至有人认为大数据就是匀葬凿燥燥责袁其实这是一个误区遥匀葬凿燥燥责只是处理离线数据的分布式存储和处理系统遥除了匀葬凿燥燥责袁还有用于处理流数据的杂贼燥则皂尧处理关系型数据的韵则葬糟造藻尧处理实时机器数据的杂责造怎灶噪等遥目前主流的大数据系统很多袁匀葬凿燥燥责只是其中的代表遥随着信息化技术的日渐普及尧宽带网络的快速兴起袁以及云计算尧移动互联和物联网等新一代信息技术的广泛应用袁全球数据的增长速度进一步加快遥与此同时袁一批数据收集尧存储尧处理技术和应用快速发展并逐渐汇聚遥软件运用的技术越来越尖端袁结合不断提高的计算能力袁从数据中提取有价值信息的能力显著提高遥员大数据分析和应用特点.com.cn. All Rights Reserved.大数据在本质上的含义就是通过数据中各种类型的配比和分析袁将具有价值的内容用最快的计算方法分析出来的能力遥在大数据模式下有更快更强的决策能力和分析洞察能力袁在流程化的优化能力上能够增加多样化的信息资源遥这也是对超长处理范围的处理优势之一袁这些采取非传统方法的数据收集主要存在以下定义袁同时具有以下应用特点区别于过去的海量数据袁大数据的特点可以概括为源个灾院灾燥造怎皂藻尧灾葬则蚤藻贼赠尧灾葬造怎藻和灾藻造燥糟蚤贼赠袁即大量尧多样尧价值密度低尧快速遥第一袁数据体量大遥大数据一般指在员园栽月规模以上的数据第二袁数据类型多遥除了数值数据袁还有文字尧声音尧视频等袁包括网络日志尧视频尧图片尧地理位置信息等多种类型的格式遥由于数据来自多种数据源袁数据种类和格式日渐丰富袁已冲破了以前所限定的结构化数据范畴袁囊括了半结构化和非结构化数据遥量袁目前正在跃升到孕月级别遥不仅存储量大袁计算量也大遥［收稿日期］2016-03-01咱圆暂王晓涛援建筑信息模型全面推广需七八年咱晕暂援中国经济导报袁圆园员园原咱猿暂王鸢援浅谈工程项目全寿命周期管理咱允暂援企业导报袁圆园员猿渊源冤院怨园援工程管理学报袁圆园员猿渊员冤院源源原源苑援园苑原园猿援传统周期管理经理的权利遥主要参考文献咱员暂李勇袁管昌生援基于月陨酝技术的工程项目信息管理模式与策略咱允暂援工程管理学报袁圆园员圆渊源冤院员苑原圆员援咱源暂徐友全袁刘欣援基于月陨酝的大型建设项目扁平化组织结构研究咱允暂援158/CHINAMANAGEMENTINFORMATIONIZATION2016年5月第19卷第9期中国管理信息化悦hinaManagementInformationizationMay袁2016Vol援19袁No援9基于手机客户端的吉林省科技文献信息服务平台的应用研究李剑锋1袁陈晓玲1袁赵志囡1袁刘东亮2渊1.吉林省科学技术信息研究所袁长春130033曰2.吉林大学学报编辑部袁长春130033冤摘［］本研究在吉林省科技文献信息服务平台渊简称野平台冶冤原有的野互联网+电脑冶模式基础上提出野互联网+手机冶移要动服务模式袁利用手机客户端将平台的信息资源尧科技资讯尧文献检索尧个性化服务推送到用户手中袁从而让用户享受到更便捷尧高效尧完善的信息化服务遥阐述了平台手机客户端的用户需求尧功能设计尧系统设计和工作流程等应用研究遥［关键词］手机客户端曰信息服务曰应用研究doi:10.3969/j.issn.1673-0194.2016.09.088［中图分类号］TP311.52；G473.8［文献标识码］A园前言］1673-0194渊2016冤09-0159-04［文章编号机的出现袁越来越多的用户加入到移动数据行列遥根据工信部公布的数据袁圆园员源年智能手机出货量为猿援愿怨亿部袁移动宽带用户渊猿郧和源郧冤净增达到员援愿员亿户袁总数达到缘援愿猿亿户遥中国互目前袁由于猿郧尧源郧尧宰蚤云蚤等网络技术的支持和推动袁智能手［收稿日期］2016-03-14.com.cn. All Rights Reserved.匀葬凿燥燥责悦燥皂皂燥灶院匀葬凿燥燥责的公用应用模块袁圆援员匀葬凿燥燥责的核心应用模块简单性院匀葬凿燥燥责实现了简单并行编程模式袁用户不需要了是整个匀葬凿燥燥责解分布式存储和计算的底层细节即可编写和运行分布式应用袁在集群上处理大规模数据集袁所以使用匀葬凿燥燥责的用户可以轻松搭建自己的分布式平台遥高效性院匀葬凿燥燥责的分布式文件系统具有高效的数据交互设计袁可以通过并行处理加快处理速度遥匀葬凿燥燥责还是可伸缩的袁能够在节点间动态地移动数据袁并保证各个节点的动态平衡袁因此处理速度非常快遥可靠性院匀葬凿燥燥责的分布式文件系统将数据分块储存袁每个数据块在集群节点上依据一定的策略冗余储存袁确保能够针对失败的节点重新分布处理袁从而保证了数据的可靠性遥成本低院依赖于廉价服务器袁它的成本比较低袁任何人都可以使用遥猿结语综上所述袁在大数据时代袁匀葬凿燥燥责以其优越的性能受到业界的广泛关注袁已经成为大数据处理领域事实上的标准遥如今袁匀葬凿燥燥责在诸多领域大显身手遥随着开源社区和国际众多国际技久的将来袁匀葬凿燥燥责技术会被拓展到更多的应用领域遥主要参考文献咱员暂王宏宇援匀葬凿燥燥责平台在云计算中的应用咱允暂援软件袁圆园员员渊源冤援圆园员员渊愿冤援项目的核心袁为匀葬凿燥燥责各子项目提供各种工具袁如配置文件和日志操作等袁其他匀葬凿燥燥责子项目都是在此基础上发展起来的遥匀葬凿燥燥责阅蚤泽贼则蚤遭怎贼藻凿云蚤造藻杂赠泽贼藻皂渊匀阅云杂冤院匀葬凿燥燥责分布式文件系统袁提供高吞吐量应用程序数据访问袁并具有高容错性遥对外部客户机而言袁匀阅云杂就像一个传统的分级文件系统袁可以进行增删改查或重命名等常规文件操作遥但实际上匀阅云杂中的文件被分成块袁然后复制到多个计算机中袁这与传统的砸粤陨阅架构大不相同遥匀阅云杂特别适合需要一次写入尧多次读取的超大规模数据集的应用程序遥匀葬凿燥燥责再粤砸晕院一个作业调度和群集资源管理框架遥程模式和程序执行框架袁是郧燥燥早造藻的酝葬责砸藻凿怎糟藻的开源实现遥它帮助用户编写处理大型数据集的并行运行程序遥酝葬责砸藻凿怎糟藻匀葬凿燥燥责酝葬责砸藻凿怎糟藻院基于再粤砸晕的大型数据分布式并行编隐藏了分布式并行编程的底层细节袁开发人员只需编写业务逻辑代码袁而无需考虑程序并行执行的细节袁从而大大提高了开发效率遥圆援圆匀葬凿燥燥责大数据分析应用特点架有更多的优点遥可扩展性院匀葬凿燥燥责可以在不停止集群服务的情况下袁在可用的计算机集簇间分配数据并完成计算袁这些集簇可以方便地扩展到数千节点中遥粤责葬糟澡藻的其他与匀葬凿燥燥责相关的项目还有很多遥作为分布式计算领域的典型代表袁匀葬凿燥燥责比其他分布式框术厂商对这一开源技术的积极支持与持续的大量投入袁相信不咱圆暂林佳烨援云计算在电信行业数据分析领域的应用咱允暂援移动通信袁CHINAMANAGEMENTINFORMATIONIZATION/159
