hadoophue字符集,hue配置hadoop

HUE Hue是一组专用于cdh的web管理器，包含hue ui、hue server和hue db三部分。 hue提供所有cdh组件的外壳接口的接口。 您可以在hue中创建mr、查看修改了hdfs的文件、管理hive元数据、运行Sqoop、创建Oozie工作流，以及执行许多任务。

HUE官方地址http://gethue.com/

缺省情况下，可以根据轻量级sqlite数据库管理会话数据、用户验证和授权自定义为MySQL、Postgresql和Oracle

基于文件浏览器访问HDFS

基于Hive编辑器的Hive查询开发与运行

支持基于Solr的搜索APP应用程序，并提供可视化的数据视图和仪表板

基于Impala的APP应用支持交互式查询

Spark编辑器和仪表板支持

支持Pig编辑器，可以发送脚本任务

支持Oozie编辑器，可以从仪表板发送和监视工作流、协调器和绑定

支持HBase浏览器，可以可视化数据、查询数据、修改HBase表

支持Metastore浏览器，可以访问Hive元数据和HCatalog

支持作业浏览器，可以访问MapReducejob(Mr1/Mr2-yarn )

支持可以创建映射/流/Java Job的job设计器

支持Sqoop 2编辑器和仪表板(Dashboard )

支持ZooKeeper浏览器和编辑器

支持MySql、PostGresql、Sqlite和Oracle数据库查询编辑器

hue在这里安装我使用的hue docker image .可以省去安装，

环境：centos7 3台，已经安装了ambari的hadoop集群

docker把hue拉出来

dockerpullgethue/hue : latest检测到服务器未占用8888端口

netstat -anp | grep 8888执行hue执行image

docker run-tid---- name hue 8888---- hostname cnode1. domain.org - p 8883360888-v/usr/HDP :/usr/HDP-v/eeer-v/etc/hive 3360/etc/hive-v/etc/h base :/etc/h - v/docker-config /仿真分布式. ini c-docker.domain.org :5000/hue : latest (./build/env /色情

-i标志确保容器中的STDIN处于打开状态。 -t指示docker将伪tty终端分配给创建的容器。 -d在后台运行容器。 --name alias_name可以为此docker指定别名。 放在前面。 e.g. docker run-tid---- name alias _ name images : version /性感硬币/bash --hostname指定主机名称，--IP-p doges -v是目录，外部主机目录：容器内部目录，在本例中为ambari Hadoop配置文件/etc/hadoop、hive配置路径/etc/hive、hbase配置路径/etc/etc 最后是启动容器后执行的命令。 /build/env/吸引人的硬币/hue runserver _ plus0.0.0. 0:8888 cnode1. domain.org是我服务器的域名。 为跑Hue带来的c-docker.domain.org是我的私人docker仓库。 需要注意的是，istr YC-docker.domain.org :5000允许提取不安全的许可证。 centos7的具体更改docker insecure-registry在“[Service]”下添加和修改环境文件=-/ettem，如下所示

启docker和daemonsystemctl restart dockersystemctl daemon-reload 配置hue

hue-docker的相关配置文件在/hue/desktop/conf/pseudo-distributed.ini
修改相关参数, scp传出来后修改如下参数,保存到主机cnode1上/docker-config/pseudo-distributed.ini

http_port=8888fs_defaultfs=hdfs://cnode1.domain.org:8020logical_name=cnode1webhdfs_url=http://cnode1.domain.org:50070/webhdfs/v1hadoop_conf_dir=/etc/hadoop/confhive_server_host=cnode1.domain.orghive_server_port=10000hive_conf_dir=/etc/hivehbase_clusters=(cluster1|cnode2.domain.org:9090)hbase_conf_dir=/etc/hbase

注意上面的地址 hbase_clusters 的cluster1只是hue里面显示的, 可以随便命名, cnode2.domain.org:9090 是hbase thrift 1的地址, 在ambari的主机里面用如下命令启动起来

/usr/hdp/2.4.0.0-169/hbase/妩媚的硬币/hbase-daemon.sh start thrift 使用

第一次进入需要配置账户和密码

)

使用hue来连接mysql

同样是编辑pseudo-distributed.ini,
找到[librdbms]这段后, 按照自己需要修改如下的内容, 注意要取消[[[mysql]]]的注释

[[[mysql]]] nice_name="Hyve-ENG UAT MySQL" name=dbname_test # Database backend to use. This can be: # 1. mysql # 2. postgresql # 3. oracle engine=mysql host=192.168.85.100 # Port the database server is listening to. Defaults are: # 1. MySQL: 3306 # 2. PostgreSQL: 5432 # 3. Oracle Express Edition: 1521 port=3306 # Username to authenticate with when connecting to the database. user=tom # Password matching the username to authenticate with when # connecting to the database. password=db12@34#56%78

保存后, 重启docker container

docker restart hue8888

接下来就可以在http://cnode1.domain.org:8888/rdbms/ 来进行对应的mysql查询.

多个db支持, 需要复制完整的 对应的db段, 比如要支持postsql, 或者新的mysql db库, 需要复制
如下, 在options里面可以定制相关编码等:

[[[mysql3]]]nice_name="UAT MySQL"name=mysqldbnameengine=mysqlhost=192.168.80.116port=3306user=tommypassword=p12391kf1#jkew[[[mysql2]]]nice_name="UAT MySQL"name=mysqldbname2engine=mysqlhost=192.168.80.116port=3306user=tommypassword=p12391kf1#jkewoptions={ "init_command":"SET NAMES 'utf8'"}

options里面init_command支持一些初始化链接行为, 比如设置编码, 设置连接超时, 设置select的limit数量,
具体可以参考http://dev.mysql.com/doc/refman/5.6/en/mysql-tips.html#safe-updates 和django的database部分, 比如下面

"init_command": 'set storage_engine=INNODB; SET SESSION TRANSACTION ISOLATION LEVEL READ COMMITTED', }

设置默认查询数量,

options={"init_command": "SET sql_select_limit=100"}

多组init_command:

options={"init_command": "SET sql_select_limit=100; SET names 'utf8'; SET sql_safe_updates=1"} 参考 HUE offiical site高可用Hadoop平台－Hue In Hadoop