网赢中国专注大数据营销 [会员登录][免费注册][网赢中国下载]我要投稿|加入合伙人|设为首页|收藏|RSS
网赢中国是大数据营销代名词。
大数据营销
当前位置:网赢中国 > 行业资讯 > 技术文章 > 大数据营销技术文章 > Hadoop解析--初次见面-Hadoop
Hadoop解析--初次见面-Hadoop
编辑:许恕 发布时间: 2015-7-29    文章来源:CSDN博客
大数据营销

  百度:云计算(cloud computing)


  是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象。因此,云计算甚至可以让你体验每秒10万亿次的运算能力,拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心,按自己的需求进行运算。


  在当今的年代,数据是一个炙手可热的词,在我们的网速,设备性能,价格种种方面的影响下,互联网成了这个社会的主旋律,在今年的尤其火热的是互联网+的概念,农业,教育等传统行业,纷纷加快了互联网的进程,尤其是云的概念被提到莫名的高度后,大众对于网络的需求,增长迅猛,随之而来的就是网络使用基础的提升,数据流量增大,用户需求的多样化,多变性对当下的架构设计提出了严峻的考验,承载着这一切,Hadoop摆在我们面前!这个开源产品的成功,将会是我们提升用户粘度,快速响应用户需求的一大技术支撑!


  概览


  Hadoop,用一句话概括,就是前人用java写的一个软件,这个软件实现了多台计算机联合进行静态简单的计算,它说白了就是一个分解的问题,现在看看我画的hadoop原理图:


 



  这就是我理解的云计算,就是联合N台机器一起完成某个计算,当然随着业务复杂度的提升,对系统的要求肯定会越来越高,那么系统的复杂度也会越来越高,这样模块化开发肯定就提上了日程,所以就分化除了几个模块,也是为了解决不同的问题,下面就让我们一起研究研究这些模块。


  相关概念


  MapReduce:


  不难总结,上图中的分发计算任务与合并计算任务就是这个过程,Map就是分发计算任务,Reduce就是合并计算任务,对应到图中Map是第三步,Reduce是第四步,这个概念不仅仅在hadoop中有,这是个解决问题的思路,在算法中,这就是典型的“分治法”的应用,将大问题分解成小问题,分解到可解的地步就行。


  HDFS:


  这个概念首先明确,它是个文件系统,好像咱们接触到了windows与linux一样,他们都有自己的文件系统,我们的拷贝,剪切等操作,就是建立在文件系统中,而在这里,我们更容易总结出,这个文件系统的特点就是分布式,就是我们可以由N台机器组成一个大的文件系统,这样我们管理文件,就是在N台机器中操作,不再受限于一台机器。


  我们看看Hadoop的架构图:


 



  大家观察到,以上咱们介绍的两个概念就是Hadoop的核心技术,解决了这两个,其他的就都是辅助性的工具,像pig,hive等都是对其中某一个模块的封装!现在再给大家介绍几个概念,让大家更好地理解什么是hadoop做的事情。


  集群


  说的透彻写,集群就是在一个软件的系统上,让多台机器协同工作,完成N个任务,而这种技术在以前的解决方案,就是咱们多搭建几台机器,一样的软件,然后认为处理这些计算的分配!


  分布式系统


  这个概念听起来好像很高大上,其实,这样的技术,是咱们前人,在原有技术的基础上进行的封装,在计算机内部,总是各种编码与解码,而我们定义一个统一的编码解码格式,那么这几个计算机是不是就能一起工作了呢,举个例子,我们知道在抗战时期,军队之间发消息,要靠电报,而为了安全,电报总要加密,大家密码统一,就可以相互通信,协同作战,在计算机内也是这样。


  总结:


  在计算机咱们这个领域,我们看问题,永远不要想太难这个词,因为计算机无外乎0和1,其他的就是对其的编码解码,我们建立了很多基础的代码,封装了枯燥的 0和1,然后在其之上,开发了开发程序的软件,而又在这个基础上我们有了各种各样的软件,hadoop就是其中一员,hadoop是中思想的实现,我们了解了,知道了,用了几次,就是成功。我们的工作,是将这种思想接纳过来,为自己服务!这恰恰就是在小学中学到的一门课,叫“拿来主义”,计算机归根还是生活的思。


大数据营销
编辑推荐
图片行业资讯
  • 雷军隔空喊话董明珠:格力 小米欢迎你
  • 杨元庆:Moto在华上市一周预定量超100万
  • 小米洪锋谈O2O布局:做商城不做具体服务
  • 盖茨向不知名实体捐赠15亿美元微软股票 持股降至3%
  • 刘强东:允许我获取数据 冰箱免费送给你
营销资讯搜索
大数据营销
推荐工具
    热点关注
    大数据营销
    大数据营销
    大数据营销
    大数据营销
     

    大数据营销之企业名录

    网络营销之邮件营销

    大数据营销之搜索采集系列

    大数据营销之QQ号采集

    大数据营销之QQ精准营销

    大数据营销之QQ消息群发

    大数据营销之空间助手

    大数据营销之QQ联盟

    大数据营销之QQ群助手
     
    设为首页 | 营销资讯 | 营销学院 | 营销宝典 | 本站动态 | 关于网赢中国 | 网站地图 | 网站RSS | 友情链接
    本站网络实名:网赢中国  国际域名:www.softav.com  版权所有 2004-2015  深圳爱网赢科技有限公司
    邮箱:web@softav.com 电话:+86-755-26010839(十八线) 传真:+86-755-26010838
    在线咨询:点击这里给我发消息 点击这里给我发消息 点击这里给我发消息  点击这里给我发消息  点击这里给我发消息

    深圳网络警
    察报警平台
    公共信息安
    全网络监察
    经营性网站
    备案信息
    不良信息
    举报中心
    中国文明网
    传播文明
    分享