Ganglia监控Hadoop与HBase集群-Hadoop
Hadoop 集群基本部署完成，接下来就需要有一个监控系统，能及时发现性能瓶颈，给故障排除提供有力依据。监控hadoop集群系统好用的比较少，自身感觉 ambari比较好用，但不能监控已有的集群环境，挺悲催的。ganglia在网上看到 -- 2015-7-1
|
|
基于Hadoop分布式数据库HBase1.0部署及使用-Hadoop
接下来部署HBase1.0分布式NoSQL数据库，HBase中涉及到HMaster和HRegionServer两个概念。（注：以下概念来着百度百科）HMaster主要负责Table和Region管理工作： 1. 管理用户对Table的增、删、改、查操作 2. 管理HRegionSe -- 2015-7-1
|
|
Hadoop2.6(NN/RM)高可用集群安装与部署-Hadoop
Hadoop2对HDFS的改进很大，支持HDFS(NameNode) 和ResourceManager高可用性，避免集群中单点故障造成整个集群不可用。那么，从本文开始将部署一套高可用Hadoop集群及家族中相关开源系统，具体根据下面规划来，本文只部署高 -- 2015-7-1
|
|
破解迷雾：关于大数据与Hadoop的九大误区-Hadoop
这些毫无根据的印象涉及所需技能储备、技术方案类型以及技术匹配方式等多个层面，盲目偏信只会将大家引入歧途。 大数据分析目前已经成为技术业界的主流趋势，每一家企业都开始将此类方案视为实现自身差异化 -- 2015-6-23
|
|
hadoop2.6安装与使用-Hadoop
伪分布式hadoop的三种安装方式：Local (Standalone) Mode Pseudo-Distributed Mode Fully-Distributed Mode安装之前需要$ sudo apt-get install ssh $ sudo apt-get install rsync详见：http://hadoop.apache.org/ -- 2015-7-1
|
|
Hadoop RPC远程过程调用源码解析及实例-Hadoop
什么是RPC? 1、RPC(Remote Procedure Call)远程过程调用，它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。经常用于分布式网络通信中。 2、Hadoop -- 2015-6-24
|
|
Hadoop,HBase分布式集群和solr环境搭建-Hadoop
1. 机器准备1.1 准备了2台机器,安装win7系统(64位) 两台windows物理主机: 192.168.131.44 administrator/(密码是一个空格) 192.168.131.67 administrator/(密码是一个空格) 1.2. 每台机器上安装VMwareWorkstation -- 2015-7-2
|
|
Apache Hadoop准实时数据处理的架构模式-Hadoop
评估好哪一种流架构模式最适合你的案例，是成功生产开发的先决条件。 Apache Hadoop 生态系统已成为企业实时地处理和挖掘大数据的首选。 Apache的Kafka， Flume， Spark， Storm， Samza等技术在不断地推进新的 -- 2015-6-24
|
|
干货PPT|以Hadoop为核心的大数据开放平台建设-Hadoop
-- 2015-7-9
|
|
hadoop实战---Hadoop开发过程中遇到的问题和解决方法-Hadoop
先上正确运行的显示： 错误1：变量为IntWritable，接收的是LongWritable，如下图： 原因，多写了参数reporter，如下图： 错误2：数组超出边界，如下图： 原因：设置了combine类，如下图： 错误3：nullpointerexceptio -- 2015-7-9
|
|
Docker将会让Hadoop部署更加简单快捷-Hadoop
近日，第八届全球Hadoop技术峰会在美国加州硅谷召开。作为全球规模最大的Hadoop盛会，本次会议吸引了大量的数据服务技术提供商和使用数据产品的企业的参加。在会议上，多家企业进行了Hadoop技术相关的报告。其中，很多 -- 2015-6-25
|
|
Hadoop作业提交深度剖析1–作业提交与初始化概述-Hadoop
在这个系列中，我将深入分析一个MapReduce作业的提交与初始化过程 从用户输入提交作业命令到作业初始化的整个过程，该过程涉及JobClient、JobTrack和TaskScheduler三个组件，它们的功能分别是：准备运行环境、接收作业、初 -- 2015-7-9
|
|
Hadoop入门进阶课程1--Hadoop1.X伪分布式安装-Hadoop
【注】该系列所使用到安装包、测试文件和代码可以在百度网盘下载，具体地址为 http://pan.baidu.com/s/10PnDs ，下载该PDF文件 1 Hadoop介绍1.1 Hadoop简介Apache Hadoop软件库是一个框架，允许在集群服务器上使用简 -- 2015-7-8
|
|
Hadoop作业提交深度剖析2–执行shell命令-Hadoop
这篇文将将继续介绍Hadoop作业的提交，主要剖析执行shell命令的内部机制 假设用户采用java语言编写了一个MapReduce程序，并将其打包成XXX.jar，然后通过以下命令提交作业：1 -- 2015-7-9
|
|
Hadoop哪家强？Hortonworks、Cloudera、MapR案例集锦-Hadoop
本文综合了Hortonworks、Cloudera、MapR三家主要的Hadoop发行版供应商的Hadoop应用案例，真是各有神通，不服来辩。 Cloudera：加速数据分析 Edo Interactive是一家美国市场营销公司，帮助广告主连接线上广告和线 -- 2015-6-25
|
|
Hadoop作业提交深度剖析3–作业文件上传-Hadoop
本文主要剖析Hadoop作业提交系列的作业文件上传过程，后面将陆续介绍生成Split文件和作业的提交 JobClient将作业提交到JobTracker端之前，需要进行一些初始化工作，包括：获取作业ID，创建HDFS目录，上传作业文件以及生成Sp -- 2015-7-9
|
|
Hadoop作业提交深度剖析4–作业提交-Hadoop
本文主要剖析Hadoop作业提交系列的作业文件提交过程 先看JobClient类的源代码开头的注释，翻译如下：JobClient是一个为了将用户端作业与JobTrack连接的基础接口，JobClient提供了便利的提交作业、跟踪进度，访问组件任务 -- 2015-7-9
|
|
Hadoop集群的配置（一）-Hadoop
1. 实验准备1.1 目的： -- 2015-7-13
|
|
Hadoop集群的配置（二）-Hadoop
2.8 节点之间的免密码通信1.什么是SSH -- 2015-7-13
|
|
Spark和Hadoop是朋友不是敌人-Hadoop
6月15日，IBM 宣布计划大规模投资 Spark 相关技术，此项声明会促使越来越多的工程师学习 Spark 技术，并且大量的企业也会采用 Spark 技术。 Spark 投资的良性循环会使 Spark 技术发展更加成熟，并且可以从整个大数 -- 2015-7-15
|
|
Sqoop介绍、安装与操作-Hadoop
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，博主为石山园，博客地址为 http://www.cnblogs.com/shishanyuan 。该系列课程是应邀实验楼整理编写的，这里需 -- 2015-7-22
|
|
MapReduce原理及操作-Hadoop
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，博主为石山园，博客地址为 http://www.cnblogs.com/shishanyuan 。该系列课程是应邀实验楼整理编写的，这里需 -- 2015-7-16
|
|
MapReduce应用案例-Hadoop
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，博主为石山园，博客地址为 http://www.cnblogs.com/shishanyuan 。该系列课程是应邀实验楼整理编写的，这里需 -- 2015-7-16
|
|
Flume介绍、安装与应用案例-Hadoop
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，博主为石山园，博客地址为 http://www.cnblogs.com/shishanyuan 。该系列课程是应邀实验楼整理编写的，这里需 -- 2015-7-23
|
|
Chukwa介绍与安装部署-Hadoop
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，博主为石山园，博客地址为 http://www.cnblogs.com/shishanyuan 。该系列课程是应邀实验楼整理编写的，这里需 -- 2015-7-24
|
|
Hadoop的Server及其线程模型分析-Hadoop
早期的一篇文章，针对Hadoop 2.6.0.一、ListenerListener线程，当Server处于运行状态时，其负责监听来自客户端的连接，并使用Select模式处理Accept事件。同时，它开启了一个空闲连接（Idle Connection）处理例程，如果有过期的 -- 2015-7-27
|
|
一种基于Storm的可扩展即时数据处理架构思考-Hadoop
问题引入使用storm可以方便的构建一种集群式的数据框架，并通过定义topo来实现业务逻辑。但使用topo存在一个缺点， topo的处理能力来自于其启动时设置的worker数目，在很多情况下，我们需要能够根据业务压力来调整集群的处 -- 2015-7-27
|
|
Twitter核心数据类库团队的Hadoop优化经验-Hadoop
一、来源 Streaming Hadoop Performance Optimization at Scale, Lessons Learned at Twitter (Data platform @Twitter) 二、观后感2.1 概要 此稿介绍了Twitter的核心数据类库团队，在使用Hadoop处理离 -- 2015-7-28
|
|
腾讯TDW:大型Hadoop集群应用-Hadoop
TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源软件Hadoop和Hive进行构建，打破了传统数据仓库不能线性扩展、可控性差的局限，并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造 -- 2015-7-28
|
|
搭配Hadoop巨量储存架构 半导体设备提高生产效能-Hadoop
半导体制程迈入20奈米以下技术节点后，良率、生产周期及成本管控的挑战更加艰钜;新式Hadoop资料储存架构可让半导体厂以更低成本达成巨量资料储存，进而利用深入的统计分析实现更精准有效的设备管理，提高产线运作效率 -- 2015-7-28
|
|
| |
| 页码:
上一页 [4] [5] [6] [7] [8] 7 [8] [9] [10] [11] 下一页
|
