毕业论文

打赏
当前位置: 毕业论文 > 研究现状 >

Hadoop框架研究现状

时间:2021-11-13 15:22来源:毕业论文
运营商营销渠道通过调研国内外多个有先进运营经验的运营商,我们发现,不管是国内还是国外,运营 商都开始关注互联网行业,并致力于研究如何高效利用用户数据,另外,他们对于

运营商营销渠道通过调研国内外多个有先进运营经验的运营商,我们发现,不管是国内还是国外,运营 商都开始关注互联网行业,并致力于研究如何高效利用用户数据,另外,他们对于用户有个 共同的特点是专注细分市场【3】,根据细分的规模性和可操作性的原则对客户进行分类营销, 对每一类客户采取不同的营销策略,提供舒适的差异化服务,从而提升客户价值和客户满意 度(详见表 1。1)。74269

表 1。1 国外运营商营销手段

运营商 国籍 营销手段

SKT 韩国 为不同年龄段的客户群体提供差异化的客户品牌,如 TING 针对青少年,TTL 针对年轻人,UTO 针对高端客户。

AT&T 美国 将用户的地理信息和上网数据等直接出售给广告公司或者。

KDDI 日本 将用户具体分为年轻消费群体、时尚用户群、商业用户群和 娱乐用户群进行精准营销。

O2 英国 提供免费 WIFI,收集用户上网数据,用于精准的媒体广告 和营销服务。

近年来,国内移动互联网 OTT 业务也呈快速成长趋势,电信运营商的基础语音业务和短 信业务因此遭到冲击,运营商利润遭到不断侵蚀和瓜分致使运营商的角色在不知不觉中发生 了变化。首先是传统运营商所提供的服务类型已经从单一的语音和短信业务,向多媒体、IPTV 等多业务叠加模式演变论文网;其次,运营商开始尝试和互联网服务提供商和应用提供商合作经营 大数据业务以追求更多的利润。国内很多运营商已经开始运用用户的上网数据和通信数据来 建立用户画像,对用户信息进行多维度的挖掘,出售用户的标签数据,从而与企业合作,达 到精准营销的目的。

2 Hadoop 框架研究现状

Hadoop【4】是 Google 公司开发的一种专门针对云计算的开源软件,主要用于大规模非结 构化和半结构化数据的计算和存储。Hadoop 由分布式文件系统 HDFS【5】(Hadoop Distrubuted File System)和核心计算基础 Map/Reduce【6】 两个主要子项目构成。其中,核心思想是 Map/Reduce,它由 map(映射)函数和 reduce(化简)函数组成,可以将一个处理海量数据 的任务细分成很多子任务,这些子任务不仅可以并发执行,还能在多个空闲的处理结点之间 调度,从而提高任务处理速度。而 HDFS 则是采用主从(Master/Slave)结构模型,一个 HDFS 集群是由多个 NameNode 和多个 DataNode 组成的。NameNode 作为主服务器,管理文件系统命 名空间和客户端对文件的访问操作,DataNode 管理存储的数据。此外,建立在 HDFS 之上的, 还有一个用于结构化数据存储的分布式数据库系统 Hbase,它可以提供高可靠性、可伸缩的 实时性数据存储服务。Hbase 以表的形式存储数据,每个表都可以存储 PB 级的数据量,并且 是面向列的。Hive 是构建在 Hadoop 上的数据仓库平台,主要在客户端给用户提供数据摘要 和 数 据 查 询 服 务 。 基于 Hadoop 集 群 下 海 量 存 储 ETL 处理 的 数 据 , 采 用 主 流 的 的 Hadoop+Hive+Hbase 集群架构平台,整个 Hadoop 的体系结构主要是通过 HDFS 来实现对分布 式存储的底层支持,并通过 MR 来实现对分布式并行任务处理的程序支持。

目前,国外雅虎等公司主要运用 Hadoop 进行用户行为分析、支持广告系统和 Web 搜索、 反垃圾邮件系统和个性化推荐等领域。许多互联网公司建立了庞大的 Hadoop 集群,用来为 公司的广告业务提供数据支持。日本的 CbIR(Content-basedInformationRetrieval)公司 开创性的在 AmazonEC2 上使用 Hadoop 来构建图像处理环境,建造用于图像产品的推荐系统。 国内百度、阿里巴巴、腾讯等公司也关注 Hadoop 已久,百度的 Hadoop 集群为整个公司的数 据团队、大数据搜索团队、社区产品团队以及广告团队,提供统一的计算和存储服务。为了 实现可以多次执行 MapReduce 的迭代应用【7】,国外还有研究者开发了 Haloop 【8】和 Twister 【9】, Haloop 在继承了 MapReduce 分布式计算模型的基础上, 增加了新的索引算法, 任务调度方面除了指定动态优先权,还增加了环形控制和可变的缓存机制; Twister 开创性的使用了专 用的消息分发机制, 通过广播和分散型通信进行数据传输。这两种框架极大提高了 Hadoop 的 处理性能,在迭代应用中发挥了非常大的作用。 Hadoop框架研究现状:http://www.youerw.com/yanjiu/lunwen_84817.html

------分隔线----------------------------
推荐内容