Hbase介绍
hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。
它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。
主要用来存储结构化和半结构化的松散数据。
Hbase查询数据功能很简单，不支持join等复杂操作，不支持复杂的事务（行级的事务）
Hbase中支持的数据类型：byte[]
与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。
HBase中的表一般有这样的特点：
大：一个表可以有上十亿行，上百万列
面向列:面向列(族)的存储和权限控制，列(族)独立检索。
稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。
结构图如下：
HMaster
功能：
- 监控RegionServer
- 处理RegionServer故障转移
- 处理元数据的变更
- 处理region的分配或移除
- 在空闲时间进行数据的负载均衡
- 通过Zookeeper发布自己的位置给客户端
RegionServer
功能：
1) 负责存储HBase的实际数据
2) 处理分配给它的Region
3) 刷新缓存到HDFS
4) 维护HLog
5) 执行压缩
6) 负责处理Region分片
组件：
- Write-Ahead logs
HBase的修改记录，当对HBase读写数据的时候，数据不是直接写进磁盘，它会在内存中保留一段时间（时间以及数据量阈值可以设定）。但把数据保存在内存中可能有更高的概率引起数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入内存中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。 - HFile
这是在磁盘上保存原始数据的实际的物理文件，是实际的存储文件。 - Store
HFile存储在Store中，一个Store对应HBase表中的一个列族。 - MemStore
顾名思义，就是内存存储，位于内存中，用来保存当前的数据操作，所以当数据保存在WAL中之后，RegsionServer会在内存中存储键值对。 - Region
Hbase表的分片，HBase表会根据RowKey值被切分成不同的region存储在RegionServer中，在一个RegionServer中可以有多个不同的region。
Hbase的搭建
注意事项：HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行
第一步：下载对应的HBase的安装包
所有关于CDH版本的软件包下载地址如下
http://archive.cloudera.com/cdh5/cdh/5/
HBase对应的版本下载地址如下
http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gz
第二步：压缩包上传并解压
将我们的压缩包上传到node01服务器的/export/softwares路径下并解压
cd /export/softwares/
tar -zxvf hbase-1.2.0-cdh5.14.0.tar.gz -C ../servers/
第三步：修改配置文件
第一台机器进行修改配置文件
cd /export/servers/hbase-1.2.0-cdh5.14.0/conf
修改第一个配置文件hbase-env.sh
注释掉HBase使用内部zk
vim hbase-env.sh
export JAVA_HOME=/export/servers/jdk1.8.0_141
export HBASE_MANAGES_ZK=false
修改第二个配置文件hbase-site.xml
修改hbase-site.xml
vim hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://node01:8020/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 0.98后的新变动，之前版本没有.port,默认端口为60000 -->
<property>
<name>hbase.master.port</name>
<value>16000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>node01:2181,node02:2181,node03:2181</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas</value>
</property>
</configuration>
修改第三个配置文件regionservers
vim regionservers
node01
node02
node03
创建back-masters配置文件，实现HMaster的高可用
cd /export/servers/hbase-1.2.0-cdh5.14.0/conf
vim backup-masters
node02
第四步：安装包分发到其他机器
将我们第一台机器的hbase的安装包拷贝到其他机器上面去
cd /export/servers/
scp -r hbase-1.2.0-cdh5.14.0/ node02:$PWD
scp -r hbase-1.2.0-cdh5.14.0/ node03:$PWD
第五步：三台机器创建软连接
因为hbase需要读取hadoop的core-site.xml以及hdfs-site.xml当中的配置文件信息，所以我们三台机器都要执行以下命令创建软连接
ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /export/servers/hbase-1.2.0-cdh5.14.0/conf/core-site.xml
ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /export/servers/hbase-1.2.0-cdh5.14.0/conf/hdfs-site.xml
第六步：三台机器添加HBASE_HOME的环境变量
vim /etc/profile
export HBASE_HOME=/export/servers/hbase-1.2.0-cdh5.14.0
export PATH=:$HBASE_HOME/bin:$PATH
第七步：HBase集群启动
第一台机器执行以下命令进行启动
cd /export/servers/hbase-1.2.0-cdh5.14.0
bin/start-hbase.sh
警告提示：HBase启动的时候会产生一个警告，这是因为jdk7与jdk8的问题导致的，如果linux服务器安装jdk8就会产生这样的一个警告,我们可以只是掉所有机器的hbase-env.sh当中的“HBASE_MASTER_OPTS”和“HBASE_REGIONSERVER_OPTS”配置 来解决这个问题。不过警告不影响我们正常运行，可以不用解决
我们也可以执行以下命令单节点进行启动
启动HMaster命令
bin/hbase-daemon.sh start master
启动HRegionServer命令
bin/hbase-daemon.sh start regionserver
为了解决HMaster单点故障问题，我们可以在node02和node03机器上面都可以启动HMaster节点的进程，以实现HMaster的高可用
bin/hbase-daemon.sh start master
第七步：页面访问
浏览器页面访问
http://node01:60010/master-status
HBase常用shell操作
1、进入HBase客户端命令操作界面
$ bin/hbase shell
2、查看帮助命令
hbase(main):001:0> help
3、查看当前数据库中有哪些表
hbase(main):002:0> list
4、创建一张表
创建user表，包含info、data两个列族
hbase(main):010:0> create 'user', 'info', 'data'
或者
hbase(main):010:0> create 'user', {
NAME => 'info', VERSIONS => '3'}，{
NAME => 'data'}
5、添加数据操作
向user表中插入信息，row key为rk0001，列族info中添加name列标示符，值为xialaoshi
hbase(main):011:0> put 'user', 'rk0001', 'info:name', 'xialaoshi'
向user表中插入信息，row key为rk0001，列族info中添加gender列标示符，值为male
hbase(main):012:0> put 'user', 'rk0001', 'info:gender', 'male'
向user表中插入信息，row key为rk0001，列族info中添加age列标示符，值为25
hbase(main):013:0> put 'user', 'rk0001', 'info:age', 25
向user表中插入信息，row key为rk0001，列族data中添加pic列标示符，值为text
hbase(main):014:0> put 'user', 'rk0001', 'data:pic', 'text'
6、查询数据操作
1、通过rowkey进行查询
获取user表中row key为rk0001的所有信息
hbase(main):015:0> get 'user', 'rk0001'
2、查看rowkey下面的某个列族的信息
获取user表中row key为rk0001，info列族的所有信息
hbase(main):016:0> get 'user', 'rk0001', 'info'
3、查看rowkey指定列族指定字段的值
获取user表中row key为rk0001，info列族的name、age列标示符的信息
hbase(main):017:0> get 'user', 'rk0001', 'info:name', 'info:age'
4、查看rowkey指定多个列族的信息
获取user表中row key为rk0001，info、data列族的信息
hbase(main):018:0> get 'user', 'rk0001', 'info', 'data'
或者
hbase(main):019:0> get 'user', 'rk0001', {
COLUMN => ['info', 'data']}
或者
hbase(main):020:0> get 'user', 'rk0001', {
COLUMN => ['info:name', 'data:pic']}
指定rowkey与列值查询
获取user表中row key为rk0001，cell的值为zhangsan的信息
hbase(main):030:0> get 'user', 'rk0001', {
FILTER => "ValueFilter(=, 'binary:zhangsan')"}
指定rowkey与列值模糊查询
获取user表中row key为rk0001，列标示符中含有a的信息
hbase(main):031:0> get 'user', 'rk0001', {
FILTER => "(QualifierFilter(=,'substring:a'))"}
插入一批数据
hbase(main):032:0> put 'user', 'rk0002', 'info:name', 'fanbingbing'
hbase(main):033:0> put 'user', 'rk0002', 'info:gender', 'female'
hbase(main):034:0> put 'user', 'rk0002', 'info:nationality', '中国'
6、查询所有数据
查询user表中的所有信息
scan 'user'
7、列族查询
查询user表中列族为info的信息
scan 'user', {
COLUMNS => 'info'}
scan 'user', {
COLUMNS => 'info', RAW => true, VERSIONS => 5}
scan 'user', {
COLUMNS => 'info', RAW => true, VERSIONS => 3}
8、多列族查询
查询user表中列族为info和data的信息
scan 'user', {
COLUMNS => ['info', 'data']}
scan 'user', {
COLUMNS => ['info:name', 'data:pic']}
9、指定列族与某个列名查询
查询user表中列族为info、列标示符为name的信息
scan 'user', {
COLUMNS => 'info:name'}
10、指定列族与列名以及限定版本查询
查询user表中列族为info、列标示符为name的信息,并且版本最新的5个
scan 'user', {
COLUMNS => 'info:name', VERSIONS => 5}
11、指定多个列族与按照数据值模糊查询
查询user表中列族为info和data且列标示符中含有a字符的信息
scan 'user', {
COLUMNS => ['info', 'data'], FILTER => "(QualifierFilter(=,'substring:a'))"}
12、rowkey的范围值查询
查询user表中列族为info，rk范围是[rk0001, rk0003)的数据
scan 'people', {
COLUMNS => 'info', STARTROW => 'rk0001', ENDROW => 'rk0003'}
13、指定rowkey模糊查询
查询user表中row key以rk字符开头的
scan 'user',{
FILTER=>"PrefixFilter('rk')"}
14、指定数据范围值查询(时间戳)
查询user表中指定范围的数据
scan 'user', {
TIMERANGE => [1392368783980, 1392380169184]}
7、更新数据操作
1、更新数据值
更新操作同插入操作相同，利用put,只不过有数据就更新，没数据就添加
1、更新版本号
将user表的info版本号改为5
hbase(main):050:0> alter 'user', NAME => 'info', VERSIONS => 5
8、删除数据以及删除表操作
1、指定rowkey以及列名进行删除
删除user表row key为rk0001，列标示符为info:name的数据
hbase(main):045:0> delete 'user', 'rk0001', 'info:name'
2、指定rowkey，列名以及字段值进行删除
删除user表row key为rk0001，列标示符为info:name，timestamp为1392383705316的数据
hbase(main):045:0>delete 'user', 'rk0001', 'info:name', 1392383705316
3、删除一个列族
删除一个列族：
hbase(main):045:0>alter 'user', NAME => 'f1', METHOD => 'delete'
或
alter 'user', 'delete' => 'f1'
4、清空表数据
hbase(main):017:0> truncate 'user'
5、删除表
首先需要先让该表为disable状态，使用命令：
hbase(main):049:0> disable 'user'
然后才能drop这个表，使用命令：
hbase(main):050:0> drop 'user'
(注意：如果直接drop表，会报错：Drop the named table. Table must first be disabled)
9、统计一张表有多少行数据
hbase(main):053:0> count 'user'
HBase的高级shell管理命令
1、status
例如：显示服务器状态
hbase(main):058:0> status 'node01'
2、whoami
显示HBase当前用户，例如：
hbase(main):058:0> whoami
3、list
显示当前所有的表
4、count
统计指定表的记录数，例如：
hbase> count 'hbase_book'
5、describe
hbase(main):058:0> describe 'table_name'
展示表结构信息
6、exist
检查表是否存在，适用于表量特别多的情况
hbase(main):058:0> exist 'table_name'
7、is_enabled、is_disabled
检查表是否启用或禁用
8、alter
该命令可以改变表和列族的模式，例如：
为当前表增加列族：
hbase> alter 'hbase_book', NAME => 'CF2', VERSIONS => 2
为当前表删除列族：
hbase(main):002:0> alter 'hbase_book', 'delete' => 'CF2'
9、disable
禁用一张表
hbase(main):002:0> disable 'table_name'
10、drop
删除一张表，记得在删除表之前必须先禁用
hbase(main):002:0> drop 'table_name'
11、truncate
禁用表-删除表-创建表
hbase(main):002:0> truncate 'table_name'
Hbase中JAVA API的编写使用
熟练掌握通过使用java代码实现HBase数据库当中的数据增删改查的操作，特别是各种查询，熟练运用
第一步：创建maven工程，导入jar包
<repositories>
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
</repositories>
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.6.0-mr1-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>1.2.0-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-server</artifactId>
<version>1.2.0-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.testng</groupId>
<artifactId>testng</artifactId>
<version>6.14.3</version>
<scope>test</scope>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.0</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
<encoding>UTF-8</encoding>
<!-- <verbal>true</verbal>-->
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>2.2</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<filters>
<filter>
<artifact>*:*</artifact>
<excludes>
<exclude>META-INF/*.SF</exclude>
<exclude>META-INF/*.DSA</exclude>
<exclude>META-INF/*/RSA</exclude>
</excludes>
</filter>
</filters>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
源代码部分：
需求一：创建myuser表，带有f1 和f2两个列族
import com.sun.org.apache.bcel.internal.generic.NEW;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.filter.*;
import org.apache.hadoop.hbase.util.Bytes;
import org.testng.annotations.AfterTest;
import org.testng.annotations.BeforeTest;
import org.testng.annotations.Test;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
public class HBaseFirst {
@Test
public void createTable() throws IOException {
//连接hbase的服务端
Configuration configuration = HBaseConfiguration.create();
//设置hbase连接zk的地址
configuration.set("hbase.zookeeper.quorum","node01:2181,node02:2181,node03:2181");
//获取hbase数据库连接对象 通信三要素：ip地址，端口号，传输协议
Connection connection = ConnectionFactory.createConnection(configuration);
//获取管理员的对象，这个对象就是用于创建表，删除表等等
Admin admin = connection.getAdmin();
//创建一个表最少需要两个条件，表名和列族名
HTableDescriptor hTableDescriptor = new HTableDescriptor(TableName.valueOf("myuser"));
//给表设置列族名
HColumnDescriptor f1 = new HColumnDescriptor("f1");
HColumnDescriptor f2 = new HColumnDescriptor("f2");
hTableDescriptor.addFamily(f1);
hTableDescriptor.addFamily(f2);
//创建表操作
admin.createTable(hTableDescriptor);
admin.close();
connection.close();
//获取连接对象，来创建表操作
}
private Connection connection;
private Table table ;
获取我们的表：
@BeforeTest
public void init() throws IOException {
//连接hbase集群
Configuration configuration = HBaseConfiguration.create();
configuration.set("hbase.zookeeper.quorum","node01:2181,node02:2181,node03:2181");
connection = ConnectionFactory.createConnection(configuration);
//获取我们的表
table = connection.getTable(TableName.valueOf("myuser"));
}
向myuser表当中添加数据(hbase当中插入和更新是一样的操作，如果rowkey不存在，那么就插入，如果rowkey存在，那么就更新)
@Test
public void addData() throws IOException {
//向表当中添加数据
//put 'user','rk0001','info:name','zhangsan'
//创建put对象，并指定rowkey
Put put = new Put("0001".getBytes());
put.addColumn("f1".getBytes(),"id".getBytes(), Bytes.toBytes(1));
put.addColumn("f1".getBytes(),"name".getBytes(), Bytes.toBytes("张三"));
put.addColumn("f1".getBytes(),"age".getBytes(), Bytes.toBytes(18));
put.addColumn("f2".getBytes(),"address".getBytes(), Bytes.toBytes("下北泽"));
put.addColumn("f2".getBytes(),"phone".getBytes(), Bytes.toBytes("1145141919810"));
//将我们构建好的put对象出入进去，就可以保存到hbase里面去了
table.put(put);
}
如果有多个键值插入新值，可以用list集合来更新或者插入：
List<Put> listPut = new ArrayList<Put>();
listPut.add(put);
listPut.add(put2);
listPut.add(put3);
listPut.add(put4);
listPut.add(put5);
listPut.add(put6);
myuser.put(listPut);
myuser.close();
}
查询rowkey为0003的人
@Test
public void getDataByRowKey() throws IOException {
//获取连接
//获取对应的表
Get get = new Get(Bytes.toBytes("0003"));
//通过get来获取数据 result里面封装了我们的结果数据
Result result = table.get(get);
//打印结果数据.获取这条数据所有的cell
List<Cell> cells = result.listCells();
for (Cell cell : cells) {
//获取列族名
byte[] family = cell.getFamily();
//获取列名
byte[] qualifier = cell.getQualifier();
//获取列值
byte[] value = cell.getValue();
String s1 = new String(family);
java.lang.String familyName = Bytes.toString(family);
//判断，如果是id列和age列，转换成为int类型输出
if("f1".equals(familyName) && "id".equals(Bytes.toString(qualifier)) || "age".equals(Bytes.toString(qualifier))){
System.out.println("列族名称为"+ familyName + "列名称为" + Bytes.toString(qualifier) +"列值为====" + Bytes.toInt(value) );
}else{
System.out.println("列族名称为"+ familyName + "列名称为" + Bytes.toString(qualifier) +"列值为====" + Bytes.toString(value) );
}
}
}
查询指定列族下面指定列的值:
@Test
public void getColumn() throws IOException {
Get get = new Get("0003".getBytes());
get.addColumn("f1".getBytes(), "name".getBytes());
get.addColumn("f2".getBytes(),"phone".getBytes());
Result result = table.get(get);
List<Cell> cells = result.listCells();
for (Cell cell : cells) {
//获取列族
byte[] family = cell.getFamily();
//获取列名
byte[] qualifier = cell.getQualifier();
//获取列值
byte[] value = cell.getValue();
System.out.println(Bytes.toString(value));
}
查询指定列族下面的所有列:
@Test
public void getFamily() throws IOException {
Get get = new Get("0003".getBytes());
get.addFamily("f2".getBytes());
Result result = table.get(get);
List<Cell> cells = result.listCells();
for (Cell cell : cells) {
//获取列族
byte[] family = cell.getFamily();
//获取列名
byte[] qualifier = cell.getQualifier();
//获取列值
byte[] value = cell.getValue();
System.out.println(Bytes.toString(value));
}
}
通过rowkey的范围值进行扫描, 扫描 0004 到0006的所有的数据
@Test
public void rangeRowkey() throws IOException {
Scan scan = new Scan();
/* scan.setStartRow("0004".getBytes());
scan.setStopRow("0006".getBytes());*/
//ResultScanner 里面封装了我们多条数据
ResultScanner scanner = table.getScanner(scan);
//循环遍历ResultScanner 得到一个个的Result
for (Result result : scanner) {
//获取数据的rowkey
byte[] row = result.getRow();
System.out.println("数据的rowkey为" + Bytes.toString(row));
List<Cell> cells = result.listCells();
for (Cell cell : cells) {
byte[] family = cell.getFamily();
String familyName = Bytes.toString(family);
byte[] qualifier = cell.getQualifier();
byte[] value = cell.getValue();
//判断，如果是id列和age列，转换成为int类型输出
if("f1".equals(familyName) && "id".equals(Bytes.toString(qualifier)) || "age".equals(Bytes.toString(qualifier))){
System.out.println("列族名称为"+ familyName + "列名称为" + Bytes.toString(qualifier) +"列值为====" + Bytes.toInt(value) );
}else{
System.out.println("列族名称为"+ familyName + "列名称为" + Bytes.toString(qualifier) +"列值为====" + Bytes.toString(value) );
}
}
}
过滤rowkey比0003还要小的数据
@Test
public void rowFilterStudy() throws IOException {
Scan scan = new Scan();
//通过rowFilter实现数据按照rowkey进行过滤
BinaryComparator binaryComparator = new BinaryComparator("0003".getBytes());
RowFilter rowFilter = new RowFilter(CompareFilter.CompareOp.LESS, binaryComparator);
scan.setFilter(rowFilter);
ResultScanner scanner = table.getScanner(scan);
for (Result result : scanner) {
byte[] row = result.getRow();
System.out.println("数据的rowkey为" + Bytes.toString(row));
List<Cell> cells = result.listCells();
for (Cell cell : cells) {
byte[] family = cell.getFamily();
byte[] qualifier = cell.getQualifier();
byte[] value = cell.getValue();
//id列和age列是整型的数据
if("f1".equals(Bytes.toString(family)) && "id".equals(Bytes.toString(qualifier)) || "age".equals(Bytes.toString(qualifier)) ){
System.out.println("列族为" + Bytes.toString(family) + "列名为" + Bytes.toString(qualifier) + "列值为" + Bytes.toInt(value));
}else{
System.out.println("列族为" + Bytes.toString(family) + "列名为" + Bytes.toString(qualifier) + "列值为" + Bytes.toString(value));
}
}
}
}
转载：https://blog.csdn.net/KujyouRuri/article/details/115773235