转载自袁杰、

2019-04-13 16:28发布

CDH集群安装Phoenix服务

2018年12月09日 17:34:27 阅读数:281 标签: phoenix cdh
个人分类: 大数据

背景:
之前我们都是通过原生的 hbase-java api根据业务需求来查询hbase,每有一个查询需求都需要定制化开发相关的查询代码,较为麻烦,而且在性能优化等方面优化也是需要着重注意;

目前业界使用 Phoenix操作HBase比较普遍,该方案无论是开发效率还是性能提升都能得到不错的保证,在这篇博客中记录下CDH集群如何安装Phoenix服务~ 集群信息:
版本:CDH 5.13.0
四台机器:cdh1 - cdh4


一、基本介绍

Phoenix是一个开源的HBASE SQL层。它不仅可以使用标准的JDBC API替代HBASE client API创建表,插入和查询HBASE,也支持二级索引事务以及多种SQL层优化。 Phoenix通过以下方式实现了比你自己手写的方式相同或者可能是更好的性能(更不用说可以少写了很多代码): * 编译你的SQL查询为原生HBase的scan语句 * 检测scan语句最佳的开始和结束的key * 精心编排你的scan语句让他们并行执行 * 让计算去接近数据通过 * 推送你的WHERE子句的谓词到服务端过滤器处理 * 执行聚合查询通过服务端钩子(称为协同处理器)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
除此之外,还做了一些有趣的增强功能来更多地优化性能: * 实现了二级索引来提升非主键字段查询的性能 * 统计相关数据来提高并行化水平,并帮助选择最佳优化方案 * 跳过扫描过滤器来优化INLIKEOR查询 * 优化主键的盐值来均匀分布写压力
  • 1
  • 2
  • 3
  • 4

二、安装步骤

1.下载

下载地址:http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/ 我们根据自己操作系统选择版本,我的是CentOS 7.5,故选择el7
下载这三个文件:*.parcel*.parcel.sha1manifest.json 在这里插入图片描述

2.文件上传服务器指定目录

在集群master节点上找到cdh的主目录,将三个文件放置在parcel包的目录,我的目录是/home/cdh/cloudera/parcel-repo 不知道自己parcel目录的可以去cm界面查看:
在这里插入图片描述
查看parcel设置:
在这里插入图片描述 在该目录下将老的 manifest.json 改名备份,然后将三个文件移动进来,再将.sha1后缀的文件改为.sha后缀! 在这里插入图片描述

3.CM-UI界面安装该Parcel

在这里插入图片描述 在这里插入图片描述 检查后会发现CLABS_PHOENIX的parcel出现,然后分配、激活:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述 然后重启HBase服务更新配置即可!

三、测试Phoenix功能

在服务器shell命令行输入: tab phoenix前缀可以看到如下几个py后缀的命令:(说明phoenix服务已安装且将命令添加到环境变量)
在这里插入图片描述 启动phoenix-sql命令行: phoenix-sqlline.py cdh1:2181
  • 1
其中cdh1:2181是zookeeper主机名端口,如果上面执行报错,可以试试这个: phoenix-sqlline.py cdh1:2181:/hbase
  • 1
在这里插入图片描述 输入!table查看表信息:
在这里插入图片描述 发现一开始就存在4个系统表,在hue查看也如此:
在这里插入图片描述 创建测试表 test_phoenixcreate table test_phoenix (id integer not null primary key, cf.name varchar, age integer);
  • 1
注意: 除了加感叹号的命令外,sql语句必须加分号结尾! 查看表结构: !describe test_phoenix
  • 1
在这里插入图片描述 可以看到上面建表语句所创建的表名和字段都是大写!要想改为小写,建表语句中就必须将其用双引号括起来!查询时也要加双引号!
在这里插入图片描述
OK!本次 CDH - Phoenix安装到此结束!
阅读更多

CDH 集群如何部署一个新的服务

11-15 2471 当我们在搭建CDH的时候,界面上会提示我们选择哪些服务,那么当我们安装完成后,如果想添加之前没有添加的kafka服务,该如何是好呢?下面这张图是点击1之后出现的,其中234分别代表着当前 cloude... 来自: vbaspdelphi
  • qq_35021796
    qq_35021796: 博主你好,我现在已经把phoenix安装到服务器上面了,但是发现好像没有maven 依赖支持我的版本,我的版本是 hbase1.2.0 CDH5.7.0 ,phoenix 5.7.0(4天前#1楼)举报回复
  • 上一页
  • 1
  • 下一页

druid集群的搭建

09-28 948 1、 启动zookeeper      下载zookeeper安装包,解压、安装      bin/zkServer.sh start 2、 修改druid配置文件 (1)      conf/dru... 来自: suphieLiang的博客

CDHPhoenix 安装方法

08-05 479

本文安装版本是4.14, 4.8以后应该都可以这么安装, 4.8以前的就不知道了  

  1. 将压缩包上传到服务器
apache-phoenix-4.14.0-cdh5.12.2-bin.tar


来自: 一个勤劳的小沙弥


CDH5.11 离线安装或者升级spark2.x详细步骤

08-21 971

CDH5.11 离线安装或者升级spark2.x详细步骤 标签: clouderaspark集群centosapache
2017-06-23 17:36 1803人阅读 评论(5) 收藏…

来自: 张伟的专栏


如何在已有CM集群环境中添加kafka组件

09-14 3132

参考kafka升级 CDH5与CM5环境搭建场景怎么局部升级当前cm集群呢,比如添加kafka组件、spark组件等分析一、升级原因1、 现有集群组件只能做一些离线类统计分析,无法满足当前实时类业…

来自: Memory of Mr.Snail


CDH安装服务和下载parcels包

09-17 69

使用CDH在集群上安装应用。 点击Cluster1右侧向下的箭头,选择添加服务,按照步骤走即可。 下载parcels文件。 配置好只有,页面会进行刷新,然后点击下载即可。…

来自: qq_38344394的博客


shiter关注
shiter

335篇文章

排名:947

silentwolfyh关注
silentwolfyh

357篇文章

排名:2000+

Jenrey关注
Jenrey

170篇文章

排名:千里之外

liygcoding关注
liygcoding

41篇文章

排名:千里之外

cdh集群安装(入门)

04-23 1632

cdh集群安装 1、  配置主机 vim/etc/hosts   (hadoop1,hadoop2,hadoop3)代表在3台机器执行操作
192.168.157.128hadoop1
192.168…

来自: 梁小明的博客