Hadoop应用介绍之Hadoop安装环境配置

本节向大家介绍一下Hadoop应用中Hadoop的安装方法，主要介绍介绍一下Hadoop概念的介绍以及安装前的环境配置，欢迎大家一起来学习有关Hadoop应用方面的知识。首先看一下Hadoop的概念介绍。

hadoop应用之安装篇
hadoop分布式文件系统安装——ForFreeBSD7

Hadoop一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。
　　简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。
　　Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streamingaccess）文件系统中的数据。

一，概述

1，安装软件版本
freebsd:7rc3[新装系统请采用freebsd7正式发行版]
hadoop:0.16.0
jdk:1.5.0
OpenSSH:4.5p1
rsync:2.6.9

2，服务器硬件环境2台x86计算机（作为安装测试1-2台机器已经足够，如果作为性能测试考虑设备的硬件性能）

3,hadoop描述
Hadoop包括HDFS(HadoopDistributedFileSystem--Hadoop分布式文件系统)和MapReduce一种集约编程模型
以HDFS视角来看节点分为Namenode和Datanode，其中Namenode是唯一的，Datanode可以是多个，Namenode可以兼Datanode；
以MapReduce视角来看又分为Jobtracker和Tasktracker，其中Jobtracker只有一个，Tasktracker可以是多个同样Jobtracker可以兼Tasktracker。更多请参考官网介绍
本测试中namenode和jobtracker部署在freebsd7test1.rhinux.com上，datanode和tasktracker部署在freebsd7test1.rhinux.com和freebsd7test2.rhinux.com。Hadoop应用介绍Hadoop的安装时要进行环境配置。

二，os及环境配置

1，安装jdk1.5
#cd/usr/ports/java/jdk15
#makeinstallclean
按照要求和提示下载好对应的包，如果找不到旧版本的依赖包请现updataports后再下载***安装包
#portsnapfetchupdate
#portsnapextract

2，安装rsync，bash，ssh
a,#cd/usr/ports/net/rsync
#makeinstallclean
b,#cd/usr/ports/shells/bash//一般Linux默认已经安装好bash所以可以省略这一步
#makeinstallclean
c,freebsd7默认OpenSSH_4.5p1

3，系统配置
a,本次配置使用2台服务器分别为
freebsd7test1.rhinux.com172.16.27.81(用在namenode由于本次测试只有2台机器所以兼datanode，但实际生产环境中不推荐兼datanode)
freebsd7test2.rhinux.com172.16.27.82(用在datanode)
b,配置服务器的hosts文件使namenode能够通过域名(freebsd7test2和freebsd7test2.rhinux.com）访问到所有的datanode（如果namenode兼datanode也需要通过域名访问到自己），
所有的datanode也能通过域名访问到namenode
c，示例
==========================/etc/hosts===========================================
::1localhostlocalhost.rhinux.com
127.0.0.1localhostlocalhost.rhinux.com
172.16.27.82freebsd7test2.rhinux.comfreebsd7test2
172.16.27.81freebsd7test1.rhinux.comfreebsd7test1
======================172.16.27.82（namenode&datanode）=======================

4，OS配置按原标准安装，测试阶段/services目录分区文件系统使用ZFS（文件系统请选择自己喜欢的目前测试下来Freebsd7的ZFS并不稳定），本节关于Hadoop应用中Hadoop安装环境配置介绍完毕，请继续关注下节Hadoop应用介绍。

【编辑推荐】

1. Hadoop Hdfs配置过程全程报道
2. Hadoop命令手册使用指南
3. 专家讲解 Hadoop:HBASE松散数据存储设计
4. 两种模式运行Hadoop分布式并行程序
5. Hadoop概念及其用法专家讲解

新闻名称：Hadoop应用介绍之Hadoop安装环境配置
链接分享：http://www.mswzjz.cn/qtweb/news36/381836.html

攀枝花网站建设、攀枝花网站运维推广公司-贝锐智能，是专注品牌与效果的网络营销公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 贝锐智能