- 浏览: 341658 次
- 性别:
- 来自: 上海
文章分类
最新评论
-
tpxcer:
不开启时可以的,而且开启以后各种坑。。。。
hue beeswax权限管理 -
yangze:
博主请教一个问题,hue 控制hive表的权限怎么弄? 怎么联 ...
cloudera新增用户权限配置 -
linux91:
楼主你好,我用CM配置LDAP用户组映射,进入impala时, ...
sentry配置 -
linux91:
版主:按你的步骤配置了,可是,执行 impala-shell ...
impala集成LDAP -
lookqlp:
super_a 写道你好!找不到表这个问题是如何解决的,可以描 ...
hcatalog读取hive数据并写入hive
废话不多说,直接步骤
安装
准备:
oozie-3.3.2,oozie-4.0.0在执行oozie-setup.sh时失败,所以选取3.3.2版本
mysql
hadoop-1.0.3
apache-6
mavn3(必须是3或者以上版本)
ext-2.2.zip拷贝至oozie-3.3.2目录下
创建 oozie 组和用户
/usr/sbin/groupadd oozie
/usr/sbin/useradd oozie -g oozie
环境变量:
export JAVA_HOME=/usr/local/jrockit-jdk1.6.0_29
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/usr/local/hadoop-1.0.3
export HIVE_HOME=/usr/local/hive-0.9.0
export CATALINA_HOME=/home/qiulp/apache-tomcat-6.0.37
export OOZIE_HOME=/home/qiulp/oozie-3.3.2
export M2_HOME=/home/qiulp/apache-maven-3.1.0
export MAVEN_HOME=/home/qiulp/apache-maven-3.1.0
及相应的path
编译:
bin/mkdistro.sh -DskipTests
跳过测试,不跳过时build failed
编译好的目录:
oozie-3.3.2_bak/distro/target
拷贝出oozie-3.3.2-distro.tar.gz,原oozie-3.3.2就可以删除掉了,解压oozie-3.3.2-distro.tar.gz
修改bin/addtowar.sh
elif [ "${version}" = "0.20.200" ]; then
成
elif [ "${version}" = "1.0.3" ]; then
创建libext目录
将mysql-connector-java-5.0.3-bin.jar分别放路lib、libext和CATALINA_HOME/lib下
执行:./oozie-setup.sh -hadoop 1.0.3 ${HADOOP_HOME} -extjs ../ext-2.2.zip
INFO: Adding extension: /home/hadoop/oozie-3.3.2/libext/mysql-connector-java-5.0.3-bin.jar
Injecting following Hadoop JARs
/home/hadoop/hadoop-1.0.3/hadoop-core-1.0.3.jar
/home/hadoop/hadoop-1.0.3/lib/jackson-core-asl-1.8.8.jar
/home/hadoop/hadoop-1.0.3/lib/jackson-mapper-asl-1.8.8.jar
/home/hadoop/hadoop-1.0.3/lib/commons-configuration-1.6.jar
New Oozie WAR file with added 'Hadoop JARs, ExtJS library, JARs' at /home/hadoop/oozie-3.3.2/oozie-server/webapps/oozie.war
INFO: Oozie is ready to be started
mysql库创建(摘抄):
mysql> create database oozie;
mysql> create user 'oozie' identifiedby 'oozie';
//下面这条命令十分重要,‘%’代表可以从任意host访问,即使oozie用户具有远程访问权限。
mysql>grant all privileges on oozie.* to 'oozie'@'%' with grant option;
mysql> grant all privileges on oozie.* to 'oozie'@'localhost' with grant option;
//下面这条命令是这是oozie用户,从任意host访问的密码皆是'123456'
mysql> update mysql.user set password=password('123456') where User="oozie" and Host="%";
mysql> update mysql.user set password=password('123456') where User="oozie" and Host="localhost";
mysql> flush privileges;
修改conf/oozie-site.xml
<property>
<name>oozie.service.JPAService.create.db.schema</name>
<value>true</value>
<description>
Creates Oozie DB.
If set to true, it creates the DB schema if it does not exist. If the DB schema exists is a NOP.
If set to false, it does not create the DB schema. If the DB schema does not exist it fails start up.
</description>
</property>
<property>
<name>oozie.service.JPAService.jdbc.driver</name>
<value>com.mysql.jdbc.Driver</value>
<description>
JDBC driver class.
</description>
</property>
<property>
<name>oozie.service.JPAService.jdbc.url</name>
<value>jdbc:mysql://10.200.187.77:3306/oozie</value>
<description>
JDBC URL.
</description>
</property>
<property>
<name>oozie.service.JPAService.jdbc.username</name>
<value>oozie</value>
<description>
DB user name.
</description>
</property>
<property>
<name>oozie.service.JPAService.jdbc.password</name>
<value>123456</value>
<description>
DB user password.
IMPORTANT: if password is emtpy leave a 1 space string, the service trims the value,
if empty Configuration assumes it is NULL.
</description>
</property>
执行:
./ooziedb.sh create -sqlfile oozie.sql -run
日志
setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
Validate DB Connection
DONE
Check DB schema does not exist
DONE
Check OOZIE_SYS table does not exist
DONE
Create SQL schema
DONE
Create OOZIE_SYS table
DONE
Oozie DB has been created for Oozie version '3.3.2'
同时形成了oozie.sql执行过得语句,此时mysql已经创建好了所需的基础表。
最后修改hadoop的core-site.xml,增加配置,并重启
<property>
<name>hadoop.proxyuser.[OOZIE_SERVER_USER].hosts</name>
<value>[OOZIE_SERVER_HOSTNAME]</value>
</property>
<property>
<name>hadoop.proxyuser.[OOZIE_SERVER_USER].groups</name>
<value>[USER_GROUPS_THAT_ALLOW_IMPERSONATION]</value>
</property>
这个配置很是麻烦,这里解释一下:
OOZIE_SERVER_USER是oozie server的user
OOZIE_SERVER_HOSTNAME是oozie server的hostname
USER_GROUPS_THAT_ALLOW_IMPERSONATION是client端提交任务的usergroup
我安装的hadoop oozie都在同一台机器上,user非别是hadoop和oozie,client在hadoop用户组里,所以USER_GROUPS_THAT_ALLOW_IMPERSONATION是hadoop。
如下:
<property>
<name>hadoop.proxyuser.oozie.hosts</name>
<value>master</value>
</property>
<property>
<name>hadoop.proxyuser.oozie.groups</name>
<value>hadoop</value>
</property>
</configuration>
这里我测试了多种情况,hadoop、oozieserver、oozieclient在不同的机器上机会报:
Error: E0902 : E0902: Exception occured: [User: XXX is not allowed to impersonate XXX]
我的理解:如上的hadoop core配置中,OOZIE_SERVER_USER是oozie server的user,因为配置在hadoop master机器上所以此用户必须是同一台机器的相同或者不同user上。
同样USER_GROUPS_THAT_ALLOW_IMPERSONATION必须是同一台机器的相同或者不同usergroup里。
不知道是否正确,但试下来同一台机器是可以的,机器不同就example跑不起来。
运行
./oozied.sh run
打开url
http://localhost:11000/oozie/
oozie client部署和测试:
解压后的oozie-3.3.2内部含有oozie-client-3.3.2.tar.gz,oozie-examples.tar.gz
分别解压。
上传测试数据至hdfs,hadoop fs -put hadoop fs -put examples examples
(至hdfs当前用户下,即.../usr/user/example,注意测试client的用户需要与数据上传的用户相同,或者上传时指定数据的绝对路径,不然测试job获取不到数据)
examples/apps/map-reduce/job.properties修改hadoop的相关内容
提示:examples/apps下有各种测试样例,一个目录一个样例,如hive sqoop pig
运行测试样例:
oozie-client-3.3.2/bin/oozie job -oozie http://10.200.187.77:11000/oozie -config examples/apps/map-reduce/job.properties -run
安装
准备:
oozie-3.3.2,oozie-4.0.0在执行oozie-setup.sh时失败,所以选取3.3.2版本
mysql
hadoop-1.0.3
apache-6
mavn3(必须是3或者以上版本)
ext-2.2.zip拷贝至oozie-3.3.2目录下
创建 oozie 组和用户
/usr/sbin/groupadd oozie
/usr/sbin/useradd oozie -g oozie
环境变量:
export JAVA_HOME=/usr/local/jrockit-jdk1.6.0_29
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/usr/local/hadoop-1.0.3
export HIVE_HOME=/usr/local/hive-0.9.0
export CATALINA_HOME=/home/qiulp/apache-tomcat-6.0.37
export OOZIE_HOME=/home/qiulp/oozie-3.3.2
export M2_HOME=/home/qiulp/apache-maven-3.1.0
export MAVEN_HOME=/home/qiulp/apache-maven-3.1.0
及相应的path
编译:
bin/mkdistro.sh -DskipTests
跳过测试,不跳过时build failed
编译好的目录:
oozie-3.3.2_bak/distro/target
拷贝出oozie-3.3.2-distro.tar.gz,原oozie-3.3.2就可以删除掉了,解压oozie-3.3.2-distro.tar.gz
修改bin/addtowar.sh
elif [ "${version}" = "0.20.200" ]; then
成
elif [ "${version}" = "1.0.3" ]; then
创建libext目录
将mysql-connector-java-5.0.3-bin.jar分别放路lib、libext和CATALINA_HOME/lib下
执行:./oozie-setup.sh -hadoop 1.0.3 ${HADOOP_HOME} -extjs ../ext-2.2.zip
INFO: Adding extension: /home/hadoop/oozie-3.3.2/libext/mysql-connector-java-5.0.3-bin.jar
Injecting following Hadoop JARs
/home/hadoop/hadoop-1.0.3/hadoop-core-1.0.3.jar
/home/hadoop/hadoop-1.0.3/lib/jackson-core-asl-1.8.8.jar
/home/hadoop/hadoop-1.0.3/lib/jackson-mapper-asl-1.8.8.jar
/home/hadoop/hadoop-1.0.3/lib/commons-configuration-1.6.jar
New Oozie WAR file with added 'Hadoop JARs, ExtJS library, JARs' at /home/hadoop/oozie-3.3.2/oozie-server/webapps/oozie.war
INFO: Oozie is ready to be started
mysql库创建(摘抄):
mysql> create database oozie;
mysql> create user 'oozie' identifiedby 'oozie';
//下面这条命令十分重要,‘%’代表可以从任意host访问,即使oozie用户具有远程访问权限。
mysql>grant all privileges on oozie.* to 'oozie'@'%' with grant option;
mysql> grant all privileges on oozie.* to 'oozie'@'localhost' with grant option;
//下面这条命令是这是oozie用户,从任意host访问的密码皆是'123456'
mysql> update mysql.user set password=password('123456') where User="oozie" and Host="%";
mysql> update mysql.user set password=password('123456') where User="oozie" and Host="localhost";
mysql> flush privileges;
修改conf/oozie-site.xml
<property>
<name>oozie.service.JPAService.create.db.schema</name>
<value>true</value>
<description>
Creates Oozie DB.
If set to true, it creates the DB schema if it does not exist. If the DB schema exists is a NOP.
If set to false, it does not create the DB schema. If the DB schema does not exist it fails start up.
</description>
</property>
<property>
<name>oozie.service.JPAService.jdbc.driver</name>
<value>com.mysql.jdbc.Driver</value>
<description>
JDBC driver class.
</description>
</property>
<property>
<name>oozie.service.JPAService.jdbc.url</name>
<value>jdbc:mysql://10.200.187.77:3306/oozie</value>
<description>
JDBC URL.
</description>
</property>
<property>
<name>oozie.service.JPAService.jdbc.username</name>
<value>oozie</value>
<description>
DB user name.
</description>
</property>
<property>
<name>oozie.service.JPAService.jdbc.password</name>
<value>123456</value>
<description>
DB user password.
IMPORTANT: if password is emtpy leave a 1 space string, the service trims the value,
if empty Configuration assumes it is NULL.
</description>
</property>
执行:
./ooziedb.sh create -sqlfile oozie.sql -run
日志
setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
Validate DB Connection
DONE
Check DB schema does not exist
DONE
Check OOZIE_SYS table does not exist
DONE
Create SQL schema
DONE
Create OOZIE_SYS table
DONE
Oozie DB has been created for Oozie version '3.3.2'
同时形成了oozie.sql执行过得语句,此时mysql已经创建好了所需的基础表。
最后修改hadoop的core-site.xml,增加配置,并重启
<property>
<name>hadoop.proxyuser.[OOZIE_SERVER_USER].hosts</name>
<value>[OOZIE_SERVER_HOSTNAME]</value>
</property>
<property>
<name>hadoop.proxyuser.[OOZIE_SERVER_USER].groups</name>
<value>[USER_GROUPS_THAT_ALLOW_IMPERSONATION]</value>
</property>
这个配置很是麻烦,这里解释一下:
OOZIE_SERVER_USER是oozie server的user
OOZIE_SERVER_HOSTNAME是oozie server的hostname
USER_GROUPS_THAT_ALLOW_IMPERSONATION是client端提交任务的usergroup
我安装的hadoop oozie都在同一台机器上,user非别是hadoop和oozie,client在hadoop用户组里,所以USER_GROUPS_THAT_ALLOW_IMPERSONATION是hadoop。
如下:
<property>
<name>hadoop.proxyuser.oozie.hosts</name>
<value>master</value>
</property>
<property>
<name>hadoop.proxyuser.oozie.groups</name>
<value>hadoop</value>
</property>
</configuration>
这里我测试了多种情况,hadoop、oozieserver、oozieclient在不同的机器上机会报:
Error: E0902 : E0902: Exception occured: [User: XXX is not allowed to impersonate XXX]
我的理解:如上的hadoop core配置中,OOZIE_SERVER_USER是oozie server的user,因为配置在hadoop master机器上所以此用户必须是同一台机器的相同或者不同user上。
同样USER_GROUPS_THAT_ALLOW_IMPERSONATION必须是同一台机器的相同或者不同usergroup里。
不知道是否正确,但试下来同一台机器是可以的,机器不同就example跑不起来。
运行
./oozied.sh run
打开url
http://localhost:11000/oozie/
oozie client部署和测试:
解压后的oozie-3.3.2内部含有oozie-client-3.3.2.tar.gz,oozie-examples.tar.gz
分别解压。
上传测试数据至hdfs,hadoop fs -put hadoop fs -put examples examples
(至hdfs当前用户下,即.../usr/user/example,注意测试client的用户需要与数据上传的用户相同,或者上传时指定数据的绝对路径,不然测试job获取不到数据)
examples/apps/map-reduce/job.properties修改hadoop的相关内容
提示:examples/apps下有各种测试样例,一个目录一个样例,如hive sqoop pig
运行测试样例:
oozie-client-3.3.2/bin/oozie job -oozie http://10.200.187.77:11000/oozie -config examples/apps/map-reduce/job.properties -run
发表评论
-
hive相关元数据迁移(mysql)
2015-11-18 18:27 2518mysqldump -hhost -uroot -ppassw ... -
hive dynamic partitions insert java.lang.OutOfMemoryError: Java heap space
2015-10-26 18:03 3024动态分区问题,如果数据量大或者当动态分区大甚至只有十几个时 ... -
hive集成LDAP
2015-02-13 10:09 9675cloudera manager hive- sevice ... -
sentry配置
2015-02-13 10:06 2293当前cdh版本为5.2.0,且通过cloudera mange ... -
hue beeswax权限管理
2014-08-05 17:54 10537http://www.cloudera.com/content ... -
cloudera client集群部署
2014-08-05 17:48 594一般我们使用使用client机器访问集群,而不会直接在hado ... -
cloudera manager kerberos配置
2014-08-05 17:37 1504CDH5.1.0前的版本,可以通过cloudera manag ... -
CDH5安装
2014-08-05 17:05 2238CDH安装有很多方式: ta ... -
hadoop集群数据迁移
2014-08-04 22:31 6511hadoop distcp hdfs://namenode1/ ... -
java.lang.OutOfMemoryError: unable to create new native thread
2014-05-23 17:29 164435227 2014-05-21 13:53:18,504 I ... -
hadoop-2.2.0编译import eclipse
2013-10-22 17:50 7752编译hadoop-2.2.0 下载hadoop-2.2.0-s ... -
hadoop-2.2.0单点安装
2013-10-22 15:48 3446解压hadoop-2.2.0.tar.gz 目录说明: drw ... -
mapreduce java.lang.ClassNotFoundException:
2013-03-07 15:06 2979好久没写mr了,今天写了个在eclipse上运行很顺畅,但是使 ... -
ganglia监控hadoop各指标说明
2012-11-20 14:04 1578做个mark! 监控指标大致如下: default.shu ... -
关于mapreduce解析xml的方法
2012-03-29 11:52 1698mapreduce的TextInputFormat很方便的处理 ... -
如何在mapreduce方法中获取当前使用文件(get file name)
2012-03-29 11:42 1825使用的0.20.2版本hadoop 查了许久,如何在map方法 ... -
如何提示mapreduce,查看systemout信息
2012-01-14 14:47 1222又折腾了大半天,只解决了一半的问题吧。 已经解决部分: 可以通 ... -
wordcount
2012-01-11 17:40 846window eclipse开发环境下 运行wordcout ... -
hbase Waiting on regionserver(s) to checkin
2012-01-11 12:16 2475hbase启动不来,一直checkin。 查看日志含有: or ... -
hadoop format后启动不了
2012-01-11 12:13 890format后启动不了,可能是个个节点包括name节点的had ...
相关推荐
oozie安装详细文档
oozie安装文件:Oozie的安装与配置及自带example演示。1111
oozie安装时,所需的js文件在ext-2.2中,需要解压到oozie根目录/libext/文件中
1、Maven 安装 1 3、整合Oozie和Hadoop 8 Oozie提交MapReduce任务事例 8 1上传lib和wf到hdfs上 8 2修改job.properties文件 8 3:修改workflow.xml 9 4:执行oozie客户端命令执行mapreduce 10 配置oozie工作流 10 ...
oozie安装时需要extjs包支持,官网下载需要收费,使用教程和extjs一起打包,亲测成功
第1章 数据转换工具Sqoop 1.02_02_01_01 大数据Hadoop 2.x协作.框架的功能 网页.mp4 1.02_02_01_02 Sqoop 功能概述和版本、架构讲解 网页.mp4 1.02_02_01_03 Sqoop 使用...3.02_02_03_05 Oozie安装部署讲解一 网页.mp4
文章目录一、安装Hadoop CDH环境1.上传安装包2.解压3.修改配置文件3.1hadoop-env.sh3.2mapred-env.sh3.3yarn-env.sh3.4core-site.xml3.5hdfs-site.xml3.6mapred-site.xml3.7yarn-site.xml3.8slaves...本人在安装oozie的
oozie安装时,所需要的js文件在ext-2.2.zip中,需要解压到“/var/oozie/lib”(CDH版本的oozie)中
包括安装,配置,使用,shell action ,hive action,MapReduce action,sqoop action。
oozie 4.0.1 hadoop2.3.0 安装
CDH安装oozie后不能看console,必须把ext依赖放入oozie的libex
安装Oozie4.1.0-CDH版本 这个安装过程同样适用于oozie4.1.0的其他的CDH版本。 先对文件进行下载: 这里使用的是CDH版本的,免编译,看着编译的过程就够了。下载地址: ...
oozie-5.1.0.tar.gz 编译结果,受限上传大小,文件分3部分
oozie-4.3.1.tar.gz 源码,可以利用该tar包进行编译安装oozie
oozie-5.1.0.tar.gz 编译结果,受限上传大小,文件分3部分
1、内容概要:Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南(详细搭建步骤+实践过程问题总结)。 2、适合人群:大数据运维、大数据相关技术及组件初学者。 3、...
安装oozie的时候需要ext的包支持,CSDN上下载好贵,麻蛋,也上传一个赚点C币
oozie安装时,所需要的js文件在ext-2.2.zip中,需要解压到oozie根目录/libext/文件中
linux.64 下的 oozie-4.3.0.tar.gz 源码包 解压后编译即可 注意对应的版本 cd bin ./mkdistro.sh -Phadoop-2 -Dhadoop.auth.version=2.8.2 -Ddistcp.version=2.8.2 -Dhadoop.version=2.8.2 -Dsqoop.version=1.4.6 -...
安装oozie所需的js包文件和mysql驱动。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。