空中的鱼
lookqlp · 共 78 篇文章
hive相关元数据迁移(mysql)
mysqldump -hhost -uroot -ppasswd sentry > /tmp/sentry.sql create database sentry DEFAULT CHARACTER SET utf8; grant all on sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry'; flush PRIVILEGES; source /tmp/sentry.sql mysql参数 [mysqld] #transaction-isolation=READ-COMMITTED # Disabling symbolic-links is re…
hive dynamic partitions insert java.lang.OutOfMemoryError: Java heap space
动态分区问题,如果数据量大或者当动态分区大甚至只有十几个时,会出现如下异常: 2015-10-23 16:43:54,165 INFO [fetcher#10] org.apache.hadoop.mapreduce.task.reduce.ShuffleSchedulerImpl: assigned 20 of 34 to spark-03:13562 to fetcher#10 2015-10-23 16:43:54,166 WARN [main] org.apache.hadoop.security.UserGroupInformation: PriviledgedActionExce…
yarn NullPointerException
yarn重启后,部分nm启动不了,报空指针问题 2015-03-26 07:41:00,367 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.LocalizedResource: Resource hdfs://:8020/user/hive/.staging/job_1426073522130_3022/libjars/guava-11.0.2.jar(->/data7/yarn/nm/usercache/hive/filecache/84380/guava-11.0.2.jar) tra…
2015-03-26 17:03 · cloudera · 评论(0)
mapreduce mapper access security hbase
环境: security cdh 5.2.0 security hbase 启动mapreduce的账户为hive或者others(非hbase),如下假设以bi账户为例 出发点: mapper/reduce程序中读取hbase中数据,或者写入hbase数据 踩过的坑: 在mapreduce的job创建过程中加入如下认证代码 UserGroupInformation.setConfiguration(conf); UserGroupInformation.loginUserFromKeytab(conf.get("hbase.master.kerberos.principal"), conf…
2015-03-17 14:42 · cloudera · 评论(0)
sentry服务后,几个权限问题
以账户bi为例 问题一 :账户bi beeline ldap后,对于外联表需要外联/user/bi目录下的数据。 解决: 根据sentry文档,需要给/user/bi授权uri ALL权限。 GRANT ALL ON URI 'hdfs://172.20.0.71:8020/user/bi' TO ROLE user_bi_all_role;解决之 问题二 :账户bi运行mapreduce需要读取/user/hive/warehouse下的数据。 解决: 一般/user/hive/warehouse属于hive:hive,根据sentry要求,配置771权限。 为了让bi账户对该目录有访问权…
2015-03-10 16:08 · cloudera · 评论(0)
cloudera新增用户权限配置
目标: 给各个业务组提供不同用户及用户组,并有限制的访问hdfs路径,及hive数据库。 前提: cloudera cloudera manager kerberos ldap sentry 问题与解决: hive client直走hive的本地模式,没有经过hiveserver2,所以此种方式能访问所有的数据库,具有超级管理员权限;考虑使用beeline形式。 登陆方式例如: beeline -u "jdbc:hive2://172.20.0.74:10000/data_system" -nhive -p111111(ldap账户及密码) 或者 beeline !connect jdbc:…
2015-03-05 16:13 · cloudera · 评论(1)
hive集成LDAP
cloudera manager hive- sevice wide - advanced-Hive Service Advanced Configuration Snippet (Safety Valve) for hive-site.xml 测试例子:https://github.com/firecodeman/Cloudera-Impala-Hive-JDBC-Example 奇怪现象: http://community.cloudera.com/t5/CDH-Manual-Installation/hive-ldap-not-work/m-p/25461#U25461 hive运行一…
sentry配置
当前cdh版本为5.2.0,且通过cloudera manger来管理集群。 选择sentry配置方式,file or db。 file形式(sentry-provider.ini),存于hdfs上。 选择group mapping方式,有HadoopGroupResourceAuthorizationProvider(正式环境中)、LocalGroupResourceAuthorizationProvider(测试环境中)。 经过测试,Hadoop groups需要使用将hadoop用户和用户组通过LDAP管理 ,但配置后hdfs启动异常,并且若不配置ldap mapping,sentry…
2015-02-13 10:06 · hadoop · 评论(1)
impala HA
目的: 为impala jdbc提供统一的接口,作用参照http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/impala_proxy.html 步骤: 安装haproxy 选择一台非impalad的机器安装haproxy yum install haproxy 编辑/etc/haproxy/haproxy.cfg,参考 global # To have these messages end up in /var/log/haproxy.log you will # need to: # # …
2014-12-11 17:36 · cloudera · 评论(0)
impala集成LDAP
目的: 为解决kerberos安全机制下的impala,resin cache kerberos tgt maxrenewlife天失效问题。 说明: impala启用LDAP后,会优先选择LDAP用户密码认证,当LDAP认证失败时自动选择kerberos安全认证。 步骤: 关闭防火墙,设置开机不启动防火墙 sudo /etc/init.d/iptables status sudo /etc/init.d/iptables stop / sudo service iptables stop sudo chkconfig iptables off 安装LDAP yum install db4 …
2014-12-11 12:55 · cloudera · 评论(1)
security cdh mapreduce access hbase
执行mapreduce的用户必须是可以访问hdfs相应目录和执行mapreduce的账户,例如hive。 指定hive的节点kinit获取执行权限 在mapreduce main代码中加入访问hbase的权限,例如: import java.io.IOException; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.HTable; import org.apache.hadoop.hbase.client.HTableInterface; import org…
hive gateway(client) configuration
配置hive gateway机器 Caused by: MetaException(message:Could not connect to meta store using any of the URIs provided. Most recent failure: org.apache.thrift.transport.TTransportException: GSS initiate failed at org.apache.thrift.transport.TSaslTransport.sendAndThrowMessage(TSaslTransport.java:221) at o…
hcatalog读取hive数据并写入hive
参考 http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_table_access_mapreduce.html https://github.com/cloudera/hcatalog-examples.git 命令: for jarfile in `ls /logdata/CDH-5.2.0-1.cdh5.2.0.p0.36/lib/hive/lib/.`; do export HADOOP_CLASSPATH="${HADOOP_CLASSPATH}:/logdata/C…
CDH5.0.2升级至CDH5.2.0
升级需求 1.为支持spark kerberos安全机制 2.为满足impala trunc函数 3.为解决impala import时同时query导致impala hang问题 升级步骤 参考http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/installation_upgrade.html 优先升级cloudera manager,再升级cdh 1.准备工作: 统一集群root密码,需要运维帮忙操作下 agent自动重启关闭 事先下载好parcals包 2.CM升级 登录cmserv…
2014-12-01 16:59 · cloudera · 评论(0)