Hadoop学习笔记:在Windows下搭建运行环境
——IT 进行时(Email & MSN:zhengxianquan AT hotmail.com)
说在前面的话: 作为一名技术人员,喜欢通过自己的实战去学习,也养成了写学习笔记的习惯。个人做企业应用更多,也涉及TB级别的非结构化数据,对于Hadoop倒是第一次接触,分布式计算总归有用武之地。但这个笔记只能说是自己的盲学,就是简单的看看。
Keywords:Hadoop; HDFS; 学习笔记
目录:
1. 准备工作 2
1.1. Supported Platforms 2
1.2. Hadoop需要的基础东西 2
1.3. 安装Cygwin注意事项 2
2. 单机上配置过程 3
2.1. 配置SSH 3
2.1.1. 配置服务 3
2.1.2. 启动Cygwin sshd服务 4
2.1.3. Setup authorization keys 5
2.2. 修订/配置/conf/core-site.xml 7
2.3. 修订/配置/conf/mapred-site.xml 9
2.4. 修订/配置\conf\masters和slaves 9
2.5. 修订/配置\conf\hadoop-env.sh 9
2.6. 其他数据节点类似,重复即可 10
3. 格式化及启动 10
3.1. 启动命令 10
3.2. 如何验证启动成功 11
4. 使用及开发 12
4.1. 常用命令行使用方法 12
4.2. 可以通过浏览器访问 15
5. FAQ 16
5.1. 为什么启动不了? 16
5.2. 配置文件可能导致的问题 17
5.3. JobTracker一直有问题? 19
5.4. 如何验证配置并启动成功? 19
6. 常用命令 20
7. 参考 21
尝试了几次,JavaEYE都不能让我轻松的贴Word的内容上来,不是格式错乱就是干脆把文章截断,真是遗憾。
只能放附件了。
分享到:
相关推荐
Hadoop学习笔记,自己总结的一些Hadoop学习笔记,比较简单。
Hadoop 学习笔记.md
hadoop 学习笔记,从搭建环境开始到具体实验。包括hdfs配置,yarn配置,分布式配置,如何编写mapreuduce 一步一步手把手,最后项目是hadoop 与 javaweb
hadoop学习笔记,hadoop简介,适用于hadoop入门,讲解hadoop安装,使用,基本原理,大数据,分布式等概念
在Windows上使用Cygwin作为类Unix支撑环境来安装Hadoop, 网上介绍的还是比较多的。 但是我在安装过程中碰到的一些问题, 没有在任何一个可找到的网页中得到全部解决。 例如,我们一开始选择的是Hadoop 1.0.0版本,...
hadoop(二:hadoop3.3.0搭建,HDFS shell 命令,MapReduce程序)
hadoop Windows 运行环境驱动包,使hadoop能够在Windows系统上面运行
Hadoop 技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理
windows下搭建hadoop开发环境(Eclipse)
我学习hadoop的笔记,并在公司做的报告,给大家共享下
云计算,hadoop,学习笔记, dd
包含详细的hadoop搭建和环境笔记 有linux 有hdfs yarn service
在windows下搭建hadoop2开发环境小案例,使用了ant技术
hadooop 2.7.5在windows下的运行环境, 配置hadoop_home环境变量直接指向该资源
尽管如此,仍然可以在Windows上搭建一个用于学习和开发的单节点Hadoop环境。以下是简化版的在Windows上安装Hadoop的步骤: 准备工作 1. 安装Java: 确保你的系统上已经安装了Java Development Kit (JDK) 8或更高版本...
Hadoop学习笔记
windows环境下的hadoop3.1.0依赖,winutils
尽管如此,仍然可以在Windows上搭建一个用于学习和开发的单节点Hadoop环境。以下是简化版的在Windows上安装Hadoop的步骤: 准备工作 1. 安装Java: 确保你的系统上已经安装了Java Development Kit (JDK) 8或更高版本...