Hadoop的学习前奏——在Linux上安装与配置Hadoop-Hadoop
前言： 笔者目前是在做Android开发，又是在一个信息安全的公司。公司的主要是做在虚拟机上运行的产品，又涉猎云计算，心想是要去搞一下云计算。自我感觉移 动互联网 + 云计算 + 信息安全会是一个很好的方向，于是投身其中 -- 2015-7-22
|
|
Hadoop解析--MapReduce-Hadoop
从本篇博客开始咱们一起来详细了解Hadoop的每个部分，我们在上篇博客中介绍了 HDFS，MapReduce，MapReduce为了更有效率其实是建立在HDFS之上的，有了分布式的文件系统，我们就能在这个系统之上更有效率地进行分布式的计 -- 2015-7-29
|
|
Hadoop安装配置及问题总结-Hadoop
学习了一下慕课网上的hadoop教程，看着很简单，但是做起来碰到的问题确实不少。搞了一个下午，总算是搞定了，本博文主要记录一下我在配置hadoop过程碰到的一些问题。对于hadoop的鼎鼎大名，想必大家都略知一二，我也是入个门 -- 2015-8-6
|
|
Hadoop解析--初次见面-Hadoop
百度：云计算(cloud computing) 是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后 -- 2015-7-29
|
|
15种最佳方式帮你顺利掌握Hadoop技术-Hadoop
在探讨今天的主题——如何利用各类资源学习Hadoop知识——之前，让我们首先搞清楚另一个问题：大数据Hadoop到底是什么？简单来讲，Hadoop是一套用于实现大数据技术的框架方案。为了顺利掌握Hadoo -- 2015-8-14
|
|
Hadoop：数据依赖型公司最有价值的工具-Hadoop
大数据的重要性体现在很多方面。首先，它可以识别人们上网浏览的模式，从而给特定类型的人或群组推送与访问内容相关的广告及发送电子邮件或社交媒体广告。其次，它可以扫描用户选择屏蔽的内容，如特定类型的广告或媒体 -- 2015-8-17
|
|
Hadoop和大数据：60款顶级开源工具-Hadoop
说到处理大数据的工具，普通的开源解决方案(尤其是Apache Hadoop)堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测，在接下来几年，“100%的大公司”会采用Hadoop。Market Research的一 -- 2015-8-10
|
|
星环Hadoop on Docker首次实现一键规模部署-Hadoop
当前在Hadoop技术的发展中，如何把 Docker技术应用于Hadoop平台的建立，尤其是对于Hadoop on Docker规模部署问题的解决，一直是一个备受关注的技术难点。因此，本次的中国Hadoop技术峰会中，首次实现一键规模部署的Had -- 2015-7-31
|
|
王团结：如何用Hadoop/Spark构建七牛数据平台-Hadoop
继“ YARN or Mesos?Spark痛点探讨 ”、“ Mesos资源调度与管理的深入分享与交流 ”、及“ 主流SQL on Hadoop框架选择 ”之后，CSDN Spark微信用户群邀请了王团结为大家分享Hadoop/ -- 2015-7-31
|
|
大数据与Hadoop之间是什么关系？-Hadoop
大数据在近些年来越来越火热，人们在提到大数据遇到了很多相关概念上的问题，比如云计算、 Hadoop等等。那么，大数据是什么、Hadoop是什么，大数据和Hadoop有什么关系呢? 大数据概念早在1980年，著名未来学家阿尔文 -- 2015-8-3
|
|
Eclipse远程提交hadoop集群任务-Hadoop
1 前言 Hadoop高可用品台搭建完备后，参见《Hadoop高可用平台搭建》，下一步是在集群上跑任务，本文主要讲述Eclipse远程提交hadoop集群任务。2 Eclipse查看远程hadoop集群文件2.1 编译hadoop eclipse 插件 Hadoop集 -- 2015-8-14
|
|
基于Hadoop的大规模网络流量分析-Hadoop
在网络流量的分析中，基于流的分析被大多数ISP所采用，分析系统一般部署在一台高配置的服务器中。如由CERT网络势态感知团队(CERT-NetSA)开发的用于大规模网络安全分析的网络交互分析工具集 SILK(the System for Int -- 2015-8-3
|
|
hadoop权威指南中天气数据运行-Hadoop
1) hdfs文件系统准备工作 a) # hadoop fs –ls /user/root #查看hdfs文件系统 b) # hadoop fs -rm /user/root/output02/part-r-00000 c) 删除文档，删除文件夹 d) # hadoop fs -rm –r /user/root/outpu -- 2015-8-3
|
|
Spring for Apache Hadoop 2.3 M2 发布-Hadoop
Spring for Apache Hadoop 2.3 M2 发布，最主要的更新内容如下： New batch tasklets: Support for running a simple Spark app [ SHDP-397 ] and for running a simple Sqoop2 Job [ SHDP-506 ] Better boot -- 2015-8-21
|
|
Hadoop作业性能指标及参数调优实例 （二）Hadoop作业性能调优7个建议-Hadoop
作者:Shu, Alison Hadoop作业性能调优的两种场景： 一、用户观察到作业性能差，主动寻求帮助。 （一）eBayEagle作业性能分析器 1. Hadoop作业性能异常指标 2. Hadoop作业性能调优7个建议 （二）其它 -- 2015-8-14
|
|
Hadoop RCFile存储格式详解（源码分析、代码示例）-Hadoop
RCFile -- 2015-8-21
|
|
hadoop之streaming(一)官网翻译-Hadoop
官网：[java] view plaincopy -- 2015-8-14
|
|
高可用Hadoop平台－Oozie工作流-Hadoop
1.概述 在开发Hadoop的相关应用使用，在业务不复杂，任务不多的情况下，我们可以直接使用Crontab去完成相关应用的调度。今天给大家介绍的是统一管理各种调度任务的系统，下面为今天分享的内容目录：内容介绍Oozie Serve -- 2015-8-21
|
|
Hadoop，MapReduce,HDFS面试题-Hadoop
今天发这个的目的是为了给自己扫开迷茫，告诉自己该进阶了，以下内容不一定官方和正确，完全个人理解，欢迎大家留言讨论 1.什么是hadoop 答：是google的核心算法MapReduce的一个开源实现。用于海量数据的并行处理 -- 2015-8-24
|
|
[Hadoop 问题] NodeManager OOM挂掉问题解决-Hadoop
在更换JDK1.6_25到JDK1.7_45后，集群出现频繁死掉NM，出现结果为如下：2015-08-12 16:35:06,662 FATAL org.apache.hadoop.yarn.YarnUncaughtExceptionHandler: Thread Thread[process reaper,10,system] threw an Error. -- 2015-8-25
|
|
hadoop深入浅出系列（一）hadoop伪分布式安装-Hadoop
终于有点时间了，来写写大数据相关内容吧，大数据发展有点快，衍生出了太多的技术。先从基础的hadoop说起吧，hadoop是何物就不多说了，今天我们来说安装。 环境win7，虚拟机客户端VMware Workstation，在客户端上安装 -- 2015-8-25
|
|
Spark与Hadoop亦友非敌_明与暗角力!开源云平台中的拼图“玩具”-Hadoop
熟悉大数据的人一定对Hadoop工具不陌生，Hadoop是一个由Apache基金会所开发的分布式系统基础架构。之前谈到Hadoop，业界总与MapReduce放在一起，但其实HDFS和MapReduce一样都是Hadoop框架最核心的设计。笔者了解到软 -- 2015-8-25
|
|
Hadoop大数据重构智能交管-Hadoop
2015年7月23日，中国Hadoop技术峰会在上海浦东嘉里中心如火如荼地召开。下午的大数据应用分论坛，基于最新的大数据技术，结合落地应用案例进行讲解与讨论，也受到了业内外的广泛关注。 当日下午，来自公安部交通管理 -- 2015-8-26
|
|
高可用Hadoop平台－Oozie工作流之Hadoop调度-Hadoop
1.概述在《 高可用Hadoop平台－Oozie工作流 》一篇中，给大家分享了如何去单一的集成Oozie这样一个插件。今天为大家介绍如何去使用Oozie创建相关工作流运行与Hadoop上，已经在创建过程当中需要注意的事项，下面是今天的分 -- 2015-8-26
|
|
hadoop家族介绍-Hadoop
简介 Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google档案系统的论 -- 2015-8-31
|
|
与 Hadoop 对比，如何看待 Spark 技术-Hadoop
Hadoop首先看一下Hadoop解决了什么问题，Hadoop就是解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。HDFS，在由普通PC组成的集群上提供高可靠的文件存储，通过将块保存 -- 2015-9-9
|
|
Hadoop与大数据2015的趋势与挑战-Hadoop
大数据通常会引发商业智能的快速可用性，这主要归因于可靠的大容量数据存储和通过使用类似Hadoop的开源工具进行并行处理。通过大数据进行可预测分析和建模所带来的好处是非常多的。 根据IDC对2015年的估计，全球 -- 2015-8-31
|
|
Hadoop HBase 单机环境简单配置教程-Hadoop
写在前面： Hadoop是Apache的一个项目,它是一个实现了MapReduce计算模型的可以运用于大型集群并行计算的分布式并行计算编程框架,当然分布式计算离不开分布式存储,Hadoop框架包含了分布式存储系统HDFS(Hadoop Distr -- 2015-8-26
|
|
Hadoop集群上使用Lzo压缩-Hadoop
自从Hadoop集群搭建以来，我们一直使用的是Gzip进行压缩 当时，我对gzip压缩过的文件和原始的log文件分别跑MapReduce测试，最终执行速度基本差不多 而且Hadoop原生支持Gzip解压，所以，当时就直接采用了Gzip压缩 -- 2015-9-9
|
|
Linux下安装Hadoop(2.7.1)详解及WordCount运行-Hadoop
一、引言 在完成了Storm的环境配置之后，想着鼓捣一下Hadoop的安装，网上面的教程好多，但是没有一个特别切合的，所以在安装的过程中还是遇到了很多的麻烦，并且最后不断的查阅资料，终于解决了问题，感觉还是很好的， -- 2015-9-10
|
|
| |
| 页码:
上一页 [5] [6] [7] [8] [9] 8 [9] [10] [11] [12] 下一页
|
