以账户bi为例
问题一:账户bi beeline ldap后,对于外联表需要外联/user/bi目录下的数据。
解决:
根据sentry文档,需要给/user/bi授权uri ALL权限。
GRANT ALL ON URI 'hdfs://172.20.0.71:8020/user/bi' TO ROLE user_bi_all_role;解决之
问题二:账户bi运行mapreduce需要读取/user/hive/warehouse下的数据。
解决:
一般/user/hive/warehouse属于hive:hive,根据sentry要求,配置771权限。
为了让bi账户对该目录有访问权限,借助acl
hadoop fs -setfacl -R -m user:bi:r-x /user/hive/warehouse 让bi对该目录有读权限解决之
问题三:账户bi beeline ldap登陆后,对于hive表需要从/user/bi下load数据。即账户bi,需要将bi:bi /user/bi目录下的数据转移至hive:hive目录下。
hiveserver2异常:
Failed with exception Unable to move sourcehdfs://myhost:8020/user/bi/aa.txt to destination hdfs://myhost:8020/user/hive/warehouse/bi_system.db/qiu/aa.txt
org.apache.hadoop.hive.ql.metadata.HiveException: Unable to move sourcehdfs://myhost:8020/user/bi/aa.txt to destination hdfs://myhost:8020/user/hive/warehouse/bi_system.db/qiu/aa.txt
at org.apache.hadoop.hive.ql.metadata.Hive.renameFile(Hive.java:2269)
at org.apache.hadoop.hive.ql.metadata.Hive.replaceFiles(Hive.java:2405)
at org.apache.hadoop.hive.ql.metadata.Table.replaceFiles(Table.java:673)
at org.apache.hadoop.hive.ql.metadata.Hive.loadTable(Hive.java:1490)
at org.apache.hadoop.hive.ql.exec.MoveTask.execute(MoveTask.java:275)
at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:153)
at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:85)
at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1516)
at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1283)
at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1101)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:924)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:919)
at org.apache.hive.service.cli.operation.SQLOperation.runInternal(SQLOperation.java:145)
at org.apache.hive.service.cli.operation.SQLOperation.access$000(SQLOperation.java:69)
at org.apache.hive.service.cli.operation.SQLOperation$1$1.run(SQLOperation.java:200)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614)
at org.apache.hadoop.hive.shims.HadoopShimsSecure.doAs(HadoopShimsSecure.java:502)
at org.apache.hive.service.cli.operation.SQLOperation$1.run(SQLOperation.java:213)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
Caused by: org.apache.hadoop.security.AccessControlException: Permission denied: user=hive, access=WRITE, inode="/user/bi":bi:bi:drwxr-xr-x
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:255)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:236)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:214)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:148)
at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:138)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6250)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.renameToInternal(FSNamesystem.java:3608)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.renameToInt(FSNamesystem.java:3578)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.renameTo(FSNamesystem.java:3542)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.rename(NameNodeRpcServer.java:727)
解决:需要hive对/user/bi的读写权限,同样借助acl
hadoop fs -setfacl -R -m user:hive:rwx /user/bi 解决之
我在社区的提问,貌似没人回答https://community.cloudera.com/t5/Cloudera-Manager-Installation/with-sentry-and-ldap-hive-can-t-load-data-from-hdfs-or-local/m-p/25413
问题四:
使用udf时,参见http://www.cloudera.com/content/cloudera/en/documentation/core/v5-2-x/topics/cm_mc_hive_udf.html
具体步骤:
1.将jar包放在hive server2节点指定目录,例如/tmp/udf
2.在cloudera manger hive cofiguration中Hive Auxiliary JARs Directory设置如上录
3.重启hive并分发hive client配置(hive加载了jar包)
4.beeline hive超级用户下执行:
create role udf_all_role;
GRANT ALL ON URI 'file:///tmp/udf/hive-udf.jar' TO ROLE udf_all_role;
GRANT ROLE udf_all_role TO GROUP bi;
5.测试
使用bi账户beeline登陆,并执行 CREATE TEMPORARY FUNCTION nvl AS 'com.nexr.platform.hive.udf.GenericUDFNVL';即可。
问题五:
hue配置impala服务时,hue报错
No available Impalad to send queries to.
User 'hive' is not authorized to delegate to 'hue'.
hue中的beewax可正常使用,hive的库权限控制正常使用,但在hue配置中,选择基于impala service时,报如上错误。
解决:
[desktop]
ldap_username=hue
ldap_password=111111
配置hue账号,不能使用hive或者其他admin账号。
分享到:
相关推荐
Laravel开发-sentry-laravel Sentry 服务集成 轻松地在你的项目中集合错误跟踪神器--sentry
sentry 授权 hadoop设置 控制数据访问 Sentry可以控制数据访问,并对已通过验证的用户提供数据访问特权。
基于Sentry的大数据权限解决方案.docx
CDH开启Kerberos+Sentry权限控制-实施配置指南,完整的详细教程
CDH6.3.2配置Hue+Sentry权限管理.pdf
安卓集成sentry错误收集服务,类似于 友盟 跟 腾讯的 Bugly的第三方服务,sentry 是自己搭建的,可以自定义很多自己的需求。
解决Cannot find module '@sentry/webpack-plugin',Cannot find module '@sentry/browser',Cannot find module '@sentry/cli'等问题。 下载后,解压后文件夹,放在vue项目的node_modules文件夹下,即可。
Sentry_Setup
sentry和sentry-vue 5.27.3 JS SDK
sentry 测试!shell 脚本,涉及多维测试!
Sentry支持数十种语言和框架,只需几行代码即可在几分钟内设置Sentry。当错误发生或重新出现时,通过电子邮件,短信或聊天的方式获取通知,作为现有工作流程的一部分。 关于Sentry 1、跨平台支持 Sentry使用数十...
Laravel开发-sentry-laravel Laravel Sentry集成(https://sentry.io)
SQL Sentry 数据库监控软件用户手册
Raven是Sentry的一个Ruby客户端
SQL Sentry 官方提供的快速安装手册。
解压密码:123 ||SQL Sentry Performance Advisor是一款出色的数据库监控工具,它允许您快速、轻松地跟踪和识别SQL服务器之间的性能问题。它是一个可靠和强大的应用程序,提供了各种智能工具,以帮助您立即识别和...
sentry-1.6.0源码包,里面的README描述怎么使用mvn打包编译包
Sentry是一个跨平台崩溃报告和聚合平台
Laravel开发-laravel-monolog-sentry Laravel 5.4图书馆,用于集成Monolog和Sentry
先决条件PostgreSQL数据库服务器jq 创建一个用于存储数据的数据库: $ createdb my-sentry-db$ psql -f schema/structure.sql my-sentry-db需要具有project:read访问权限的API令牌。 可以在上生成一个。 可以通过-t...