ITeye博客

空中的鱼

lookqlp · 共 78 篇文章

将博客搬至CSDN

将博客搬至CSDN

2016-08-02 16:23 · 评论(0)

hive相关元数据迁移(mysql)

mysqldump -hhost -uroot -ppasswd sentry > /tmp/sentry.sql create database sentry DEFAULT CHARACTER SET utf8; grant all on sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry'; flush PRIVILEGES; source /tmp/sentry.sql mysql参数 [mysqld] #transaction-isolation=READ-COMMITTED # Disabling symbolic-links is re…

2015-11-18 18:27 · hadoop · cloudera · 评论(0)

hive dynamic partitions insert java.lang.OutOfMemoryError: Java heap space

动态分区问题,如果数据量大或者当动态分区大甚至只有十几个时,会出现如下异常: 2015-10-23 16:43:54,165 INFO [fetcher#10] org.apache.hadoop.mapreduce.task.reduce.ShuffleSchedulerImpl: assigned 20 of 34 to spark-03:13562 to fetcher#10 2015-10-23 16:43:54,166 WARN [main] org.apache.hadoop.security.UserGroupInformation: PriviledgedActionExce…

2015-10-26 18:03 · hadoop · cloudera · 评论(0)

yarn NullPointerException

yarn重启后,部分nm启动不了,报空指针问题 2015-03-26 07:41:00,367 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.LocalizedResource: Resource hdfs://:8020/user/hive/.staging/job_1426073522130_3022/libjars/guava-11.0.2.jar(->/data7/yarn/nm/usercache/hive/filecache/84380/guava-11.0.2.jar) tra…

2015-03-26 17:03 · cloudera · 评论(0)

mapreduce mapper access security hbase

环境: security cdh 5.2.0 security hbase 启动mapreduce的账户为hive或者others(非hbase),如下假设以bi账户为例 出发点: mapper/reduce程序中读取hbase中数据,或者写入hbase数据 踩过的坑: 在mapreduce的job创建过程中加入如下认证代码 UserGroupInformation.setConfiguration(conf); UserGroupInformation.loginUserFromKeytab(conf.get("hbase.master.kerberos.principal"), conf…

2015-03-17 14:42 · cloudera · 评论(0)

sentry服务后,几个权限问题

以账户bi为例 问题一 :账户bi beeline ldap后,对于外联表需要外联/user/bi目录下的数据。 解决: 根据sentry文档,需要给/user/bi授权uri ALL权限。 GRANT ALL ON URI 'hdfs://172.20.0.71:8020/user/bi' TO ROLE user_bi_all_role;解决之 问题二 :账户bi运行mapreduce需要读取/user/hive/warehouse下的数据。 解决: 一般/user/hive/warehouse属于hive:hive,根据sentry要求,配置771权限。 为了让bi账户对该目录有访问权…

2015-03-10 16:08 · cloudera · 评论(0)

cloudera新增用户权限配置

目标: 给各个业务组提供不同用户及用户组,并有限制的访问hdfs路径,及hive数据库。 前提: cloudera cloudera manager kerberos ldap sentry 问题与解决: hive client直走hive的本地模式,没有经过hiveserver2,所以此种方式能访问所有的数据库,具有超级管理员权限;考虑使用beeline形式。 登陆方式例如: beeline -u "jdbc:hive2://172.20.0.74:10000/data_system" -nhive -p111111(ldap账户及密码) 或者 beeline !connect jdbc:…

2015-03-05 16:13 · cloudera · 评论(1)

hive集成LDAP

cloudera manager hive- sevice wide - advanced-Hive Service Advanced Configuration Snippet (Safety Valve) for hive-site.xml 测试例子:https://github.com/firecodeman/Cloudera-Impala-Hive-JDBC-Example 奇怪现象: http://community.cloudera.com/t5/CDH-Manual-Installation/hive-ldap-not-work/m-p/25461#U25461 hive运行一…

2015-02-13 10:09 · hadoop · cloudera · 评论(0)

sentry配置

当前cdh版本为5.2.0,且通过cloudera manger来管理集群。 选择sentry配置方式,file or db。 file形式(sentry-provider.ini),存于hdfs上。 选择group mapping方式,有HadoopGroupResourceAuthorizationProvider(正式环境中)、LocalGroupResourceAuthorizationProvider(测试环境中)。 经过测试,Hadoop groups需要使用将hadoop用户和用户组通过LDAP管理 ,但配置后hdfs启动异常,并且若不配置ldap mapping,sentry…

2015-02-13 10:06 · hadoop · 评论(1)

impala HA

目的: 为impala jdbc提供统一的接口,作用参照http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/impala_proxy.html 步骤: 安装haproxy 选择一台非impalad的机器安装haproxy yum install haproxy 编辑/etc/haproxy/haproxy.cfg,参考 global # To have these messages end up in /var/log/haproxy.log you will # need to: # # …

2014-12-11 17:36 · cloudera · 评论(0)

impala集成LDAP

目的: 为解决kerberos安全机制下的impala,resin cache kerberos tgt maxrenewlife天失效问题。 说明: impala启用LDAP后,会优先选择LDAP用户密码认证,当LDAP认证失败时自动选择kerberos安全认证。 步骤: 关闭防火墙,设置开机不启动防火墙 sudo /etc/init.d/iptables status sudo /etc/init.d/iptables stop / sudo service iptables stop sudo chkconfig iptables off 安装LDAP yum install db4 …

2014-12-11 12:55 · cloudera · 评论(1)

security cdh mapreduce access hbase

执行mapreduce的用户必须是可以访问hdfs相应目录和执行mapreduce的账户,例如hive。 指定hive的节点kinit获取执行权限 在mapreduce main代码中加入访问hbase的权限,例如: import java.io.IOException; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.HTable; import org.apache.hadoop.hbase.client.HTableInterface; import org…

2014-12-02 15:09 · hbase · cloudera · 评论(0)

hive gateway(client) configuration

配置hive gateway机器 Caused by: MetaException(message:Could not connect to meta store using any of the URIs provided. Most recent failure: org.apache.thrift.transport.TTransportException: GSS initiate failed at org.apache.thrift.transport.TSaslTransport.sendAndThrowMessage(TSaslTransport.java:221) at o…

2014-12-02 14:32 · hive · cloudera · 评论(0)

hcatalog读取hive数据并写入hive

参考 http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_table_access_mapreduce.html https://github.com/cloudera/hcatalog-examples.git 命令: for jarfile in `ls /logdata/CDH-5.2.0-1.cdh5.2.0.p0.36/lib/hive/lib/.`; do export HADOOP_CLASSPATH="${HADOOP_CLASSPATH}:/logdata/C…

2014-12-01 17:49 · cloudera · hcatalog · 评论(2)

CDH5.0.2升级至CDH5.2.0

升级需求 1.为支持spark kerberos安全机制 2.为满足impala trunc函数 3.为解决impala import时同时query导致impala hang问题 升级步骤 参考http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/installation_upgrade.html 优先升级cloudera manager,再升级cdh 1.准备工作: 统一集群root密码,需要运维帮忙操作下 agent自动重启关闭 事先下载好parcals包 2.CM升级 登录cmserv…

2014-12-01 16:59 · cloudera · 评论(0)