Hadoop 学习笔记（一）

安装

Hadoop安装本身很简单，安装了JDK以后，从Hadoop官网下载Hadoop最新的tar包，解压、配置配置文件即可，很简单。

配置， hadoop所有的配置的文件都位于hadoop/etc/hadoop/，主要需要配置的文件有三个

core-site.xml：配置临时目录， hdfs入口
hdfs-site.xml：HDFS配置
mapred-site.xml：MapReduce配置，可以直接使用默认值
masters：配置管理节点，ip地址或hostname
slaves：配置从节点，ip地址或hostname


<!-- core-site.xml -->
<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
	
    <!-- file system properties -->
    <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>


<!-- hdfs-site.xml -->
<configuration>
		<!-- 配置元数据存储位置-->
		<property>
			<name>dfs.namenode.name.dir</name>
			<value>/var/hadoop/dfs/name</value>
		</property>
		<!-- //配置数据存储位置-->
		<property>
			<name>dfs.datanode.data.dir</name>
			<value>/var/hadoop/dfs/data</value>
		</property>
		    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
</configuration>

配置完成后，把配置文件网所有节点都拷贝一份

并且现在网上的教程很多，可以参考，这里就不详细写了。我自己参考了这里

启动

在安装目录hadoop/sbin/ 目录下有很多启动脚本，原来有一个一键启动脚本start-all.sh，但现在已经不建议了。现在一般需要什么，启动什么。为了运行MapReduce任务，最基本的要启动HDFS和YARN


./start-dfs.sh
./start-yarn.sh

# 可用JPS验证是否启动
jps

验证启动 http://{master-ip}:50070

本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名,转载请标明出处
最后编辑时间为: 2019/01/01 21:00

Hadoop 学习笔记 （一）

Hadoop 学习笔记 （一）

安装

启动

Hadoop 学习笔记（一）

Hadoop 学习笔记（一）