hbase常用命令（hbase数据导出求方法步骤）

本文目录

• hbase数据导出求方法步骤
• 如何使用java api操作hbase
• 如何启动hbase 自带了一个 zkcli
• hbase-GUI使用方法
• hbase命令行方式插入一条数据到某个表中使用什么命令
• hbase是怎样删除和修改数据的
• hbase数据库查询命令有什么

hbase数据导出求方法步骤

主要有三种方法：
1、Put API
Put API可能是将数据快速导入HBase表的最直接的方法。但是在导入【大量数据】时不建议使用！但是可以作为简单数据迁移的选择，直接写个代码批量处理，开发简单、方便、可控强。
2、MapReduce Job
推荐使用sqoop，它的底层实现是mapreduce，数据并行导入的，这样无须自己开发代码，过滤条件通过query参数可以实现。
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将MySQL中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到Mysql中。
参考Index of /docs。
采用如下命令：sqoop import
--connect jdbc:mysql://localhost/db
--username root -P
--table mysql_order
--columns “id,name“
--hbase-table hbase_order
--column-family f
--hbase-row-key id
--query “select id,name from mysql_order where...“
-m 1
3、采用Bulk load装载数据
bulk-load的作用是用mapreduce的方式将hdfs上的文件装载到hbase中，对于海量数据装载入hbase非常有用。
需要将MySQL的表数据导出为TSV格式（因为后面使用Import TSV工具），还需要确保有一个字段可以表示HBase表行的row key。

如何使用java api操作hbase

　一般情况下，我们使用Linux的shell命令，就可以非常轻松的操作Hbase，例如一些建表，建列簇，插值，显示所有表，统计数量等等，但有时为了提高灵活性，我们也需要使用编程语言来操作Hbase，当然Hbase通过Thrift接口提供了对大多数主流编程语言的支持，例如C++,PHP，Python，Ruby等等，那么本篇，散仙给出的例子是基于Java原生的API操作Hbase，相比其他的一些编程语言，使用Java操作Hbase，会更加高效一些，因为Hbase本身就是使用Java语言编写的。转载
下面，散仙给出源码，以供参考:

　　package com.hbase;

import java.util.ArrayList;
import java.util.List;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.util.Bytes;

/**
* @author 三劫散仙
*
* **/
public class Test {

static Configuration conf=null;
static{

conf=HBaseConfiguration.create();//hbase的配置信息
conf.set(“hbase.zookeeper.quorum“, “10.2.143.5“); //zookeeper的地址

}

public static void main(String args)throws Exception {

Test t=new Test();
//t.createTable(“temp“, new String{“name“,“age“});
//t.insertRow(“temp“, “2“, “age“, “myage“, “100“);
// t.getOneDataByRowKey(“temp“, “2“);
t.showAll(“temp“);

}

/***
* 创建一张表
* 并指定列簇
* */
public void createTable(String tableName,String cols)throws Exception{
HBaseAdmin admin=new HBaseAdmin(conf);//客户端管理工具类
if(admin.tableExists(tableName)){
System.out.println(“此表已经存在.......“);
}else{
HTableDescriptor table=new HTableDescriptor(tableName);
for(String c:cols){
HColumnDescriptor col=new HColumnDescriptor(c);//列簇名
table.addFamily(col);//添加到此表中
}

admin.createTable(table);//创建一个表
admin.close();
System.out.println(“创建表成功!“);
}
}

/**
* 添加数据,
* 建议使用批量添加
* @param tableName 表名
* @param row 行号
* @param columnFamily 列簇
* @param column 列
* @param value 具体的值
*
* **/
public void insertRow(String tableName, String row,
String columnFamily, String column, String value) throws Exception {
HTable table = new HTable(conf, tableName);
Put put = new Put(Bytes.toBytes(row));
// 参数出分别：列族、列、值
put.add(Bytes.toBytes(columnFamily), Bytes.toBytes(column),
Bytes.toBytes(value));

table.put(put);
table.close();//关闭
System.out.println(“插入一条数据成功!“);
}

/**
* 删除一条数据
* @param tableName 表名
* @param row rowkey
* **/
public void deleteByRow(String tableName,String rowkey)throws Exception{
HTable h=new HTable(conf, tableName);
Delete d=new Delete(Bytes.toBytes(rowkey));
h.delete(d);//删除一条数据
h.close();
}

/**
* 删除多条数据
* @param tableName 表名
* @param row rowkey
* **/
public void deleteByRow(String tableName,String rowkey)throws Exception{
HTable h=new HTable(conf, tableName);

List《Delete》 list=new ArrayList《Delete》();
for(String k:rowkey){
Delete d=new Delete(Bytes.toBytes(k));
list.add(d);
}
h.delete(list);//删除
h.close();//释放资源
}

/**
* 得到一条数据
*
* @param tableName 表名
* @param rowkey 行号
* ***/
public void getOneDataByRowKey(String tableName,String rowkey)throws Exception{
HTable h=new HTable(conf, tableName);

Get g=new Get(Bytes.toBytes(rowkey));
Result r=h.get(g);
for(KeyValue k:r.raw()){

System.out.println(“行号: “+Bytes.toStringBinary(k.getRow()));
System.out.println(“时间戳: “+k.getTimestamp());
System.out.println(“列簇: “+Bytes.toStringBinary(k.getFamily()));
System.out.println(“列: “+Bytes.toStringBinary(k.getQualifier()));
//if(Bytes.toStringBinary(k.getQualifier()).equals(“myage“)){
// System.out.println(“值: “+Bytes.toInt(k.getValue()));
//}else{
String ss= Bytes.toString(k.getValue());
System.out.println(“值: “+ss);
//}

}
h.close();

}

/**
* 扫描所有数据或特定数据
* @param tableName
* **/
public void showAll(String tableName)throws Exception{

HTable h=new HTable(conf, tableName);

Scan scan=new Scan();
//扫描特定区间
//Scan scan=new Scan(Bytes.toBytes(“开始行号“),Bytes.toBytes(“结束行号“));
ResultScanner scanner=h.getScanner(scan);
for(Result r:scanner){
System.out.println(“==================================“);
for(KeyValue k:r.raw()){

System.out.println(“行号: “+Bytes.toStringBinary(k.getRow()));
System.out.println(“时间戳: “+k.getTimestamp());
System.out.println(“列簇: “+Bytes.toStringBinary(k.getFamily()));
System.out.println(“列: “+Bytes.toStringBinary(k.getQualifier()));
//if(Bytes.toStringBinary(k.getQualifier()).equals(“myage“)){
// System.out.println(“值: “+Bytes.toInt(k.getValue()));
//}else{
String ss= Bytes.toString(k.getValue());
System.out.println(“值: “+ss);
//}

}
}
h.close();

}

}

显示所有数据的打印输出如下：

　　==================================
行号: 1
时间戳: 1385597699287
列簇: name
列: myname
值: 秦东亮
==================================
行号: 2
时间戳: 1385598393306
列簇: age
列: myage
值: 100
行号: 2
时间戳: 1385597723900
列簇: name
列: myname
值: 三劫散仙

由此，可以看出Hbase的对外的API提供接口，是非常简单易用的。

如何启动hbase 自带了一个 zkcli

常用到的HBase启动脚本有：
1.$HBASE_HOME/bin/start-hbase.sh
启动整个集群

2.$HBASE_HOME/bin/stop-hbase.sh
停止整个集群

3.$HBASE_HOME/bin/hbase-daemons.sh
启动或停止，所有的regionserver或zookeeper或backup-master

4.$HBASE_HOME/bin/hbase-daemon.sh
启动或停止，单个master或regionserver或zookeeper

以start-hbase.sh为起点，可以看看脚本间的一些调用关系
start-hbase.sh的流程如下：
1.运行hbase-config.sh（作用后面解释）
2.解析参数（0.96版本及以后才可以带唯一参数autorestart，作用就是重启）
3.调用hbase-daemon.sh来启动master；调用hbase-daemons.sh来启动regionserver zookeeper master-backup

hbase-config.sh的作用：
装载相关配置，如HBASE_HOME目录，conf目录，regionserver机器列表，JAVA_HOME目录等，它会调用$HBASE_HOME/conf/hbase-env.sh

hbase-env.sh的作用：
主要是配置JVM及其GC参数，还可以配置log目录及参数，配置是否需要hbase管理ZK，配置进程id目录等

hbase-daemons.sh的作用：
根据需要启动的进程，
如为zookeeper,则调用zookeepers.sh
如为regionserver，则调用regionservers.sh
如为master-backup，则调用master-backup.sh

zookeepers.sh的作用：
如果hbase-env.sh中的HBASE_MANAGES_ZK“ = “true“，那么通过ZKServerTool这个类解析xml配置文件，获取ZK节点列表（即hbase.zookeeper.quorum的配置值），然后通过SSH向这些节点发送远程命令：
cd ${HBASE_HOME};
$bin/hbase-daemon.sh --config ${HBASE_CONF_DIR} start/stop zookeeper

regionservers.sh的作用：
与zookeepers.sh类似，通过${HBASE_CONF_DIR}/regionservers配置文件，获取regionserver机器列表，然后SSH向这些机器发送远程命令：
cd ${HBASE_HOME};
$bin/hbase-daemon.sh --config ${HBASE_CONF_DIR} start/stop regionserver

master-backup.sh的作用：
通过${HBASE_CONF_DIR}/backup-masters这个配置文件，获取backup-masters机器列表（默认配置中，这个配置文件并不存在，所以不会启动backup-master）,然后SSH向这些机器发送远程命令：
cd ${HBASE_HOME};
$bin/hbase-daemon.sh --config ${HBASE_CONF_DIR} start/stop master --backup

hbase-daemon.sh的作用：
无论是zookeepers.sh还是regionservers.sh或是master-backup.sh，最终都会调用本地的hbase-daemon.sh，其执行过程如下：
1.运行hbase-config.sh，装载各种配置（java环境、log配置、进程ID目录等）
2.如果是start命令？
滚动out输出文件，滚动gc日志文件，日志文件中输出启动时间+ulimit -a信息，如
“Mon Nov 26 10:31:42 CST 2012 Starting master on dwxx.yy.taobao”
“..open files (-n) 65536..“
3.调用$HBASE_HOME/bin/hbase start master/regionserver/zookeeper
4.执行wait，等待3中开启的进程结束
5.执行cleanZNode，将regionserver在zk上登记的节点删除，这样做的目的是：在regionserver进程意外退出的情况下，可以免去3分钟的ZK心跳超时等待，直接由master进行宕机恢复
6.如果是stop命令？
根据进程ID，检查进程是否存在；调用kill命令，然后等待到进程不存在为止
7.如果是restart命令？
调用stop后，再调用start。。。

$HBASE_HOME/bin/hbase的作用：
最终启动的实现由这个脚本执行
1.可以通过敲入$HBASE_HOME/bin/hbase查看其usage
DBA TOOLS
shell run the HBase shell
hbck run the hbase ’fsck’ tool
hlog write-ahead-log analyzer
hfile store file analyzer
zkcli run the ZooKeeper shell
PROCESS MANAGEMENT
master run an HBase HMaster node
regionserver run an HBase HRegionServer node
zookeeper run a Zookeeper server
rest run an HBase REST server
thrift run the HBase Thrift server
thrift2 run the HBase Thrift2 server
avro run an HBase Avro server

PACKAGE MANAGEMENT
classpath dump hbase CLASSPATH
version print the version
or
CLASSNAME run the class named CLASSNAME

2.bin/hbase shell,这个就是常用的shell工具，运维常用的DDL和DML都会通过此进行，其具体实现（对hbase的调用）是用ruby写的

3.bin/hbase hbck, 运维常用工具，检查集群的数据一致性状态，其执行是直接调用
org.apache.hadoop.hbase.util.HBaseFsck中的main函数

4.bin/hbase hlog, log分析工具，其执行是直接调用
org.apache.hadoop.hbase.regionserver.wal.HLogPrettyPrinter中的main函数

5.bin/hbase hfile， hfile分析工具，其执行是直接调用
org.apache.hadoop.hbase.io.hfile.HFile中的main函数

6.bin/hbase zkcli,查看/管理ZK的shell工具，很实用，经常用，比如你可以通过（get /hbase-tianwu-94/master）其得知当前的active master,可以通过（get /hbase-tianwu-94/root-region-server）得知当前root region所在的server，你也可以在测试中通过（delete /hbase-tianwu-94/rs/dwxx.yy.taobao），模拟regionserver与ZK断开连接，，，
其执行则是调用了org.apache.zookeeper.ZooKeeperMain的main函数

7.回归到刚才hbase-daemon.sh对此脚本的调用为：
$HBASE_HOME/bin/hbase start master/regionserver/zookeeper
其执行则直接调用
org.apache.hadoop.hbase.master.HMaster
org.apache.hadoop.hbase.regionserver.HRegionServer
org.apache.hadoop.hbase.zookeeper.HQuorumPeer
的main函数，而这些main函数就是了new一个了Runnable的HMaster/HRegionServer/QuorumPeer，在不停的Running...

8.bin/hbase classpath 打印classpath

9.bin/hbase version 打印hbase版本信息

10.bin/hbase CLASSNAME， 这个很实用，所有实现了main函数的类都可以通过这个脚本来运行，比如前面的hlog hfile hbck工具，实质是对这个接口的一个快捷调用，而其他未提供快捷方式的class我们也可以用这个接口调用，如Region merge 调用：
$HBASE_HOME/bin/hbase/org.apache.hadoop.hbase.util.Merge

hbase-GUI使用方法

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建大规模结构化的存储集群。HBase的目标是存储并处理大型数据，具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。与MapReduce的离线批处理计算框架不同，HBase是一个可以随机访问的存储和检索数据平台，弥补了HDFS不能随机访问数据的缺陷，适合实时性要求不是非常高的业务场景。HBase存储的都是Byte数组，它不介意数据类型，允许动态、灵活的数据模型。
看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式 创建表create ’表名称’, ’列名称1’,’列名称2’,’列名称N’ 添加记录 put ’表名称’, ’行名称’, ’列名称:’, ’值’ 查看记录get ’表名称’, ’行名称’ 查看表中的记录总数count ’表名称’ 删除记录delete ’表名’ ,’行名称’ , ’列名称’。

hbase命令行方式插入一条数据到某个表中使用什么命令

命令：disable ’tableName’ --disable表。注：修改表结构时，必须要先disable表。
命令：enable ’tableName’ --使表可用
命令：drop ’tableName’ --删除表

hbase是怎样删除和修改数据的

HBase提供了对HBase进行一系列的管理涉及到对表的管理、数据的操作java
api。
常用的API操作有：
1、
对表的创建、删除、显示以及修改等，可以用HBaseAdmin，一旦创建了表，那么可以通过HTable的实例来访问表，每次可以往表里增加数据

hbase数据库查询命令有什么

您好，对于你的遇到的问题，我很高兴能为你提供帮助，我之前也遇到过哟，以下是我的个人看法，希望能帮助到你，若有错误，还望见谅！。

1. select

2. *

3. from

4. a

5. where

6. 列名

7. 《》0

8. --《》标示不等于

9. 2.--not

10. in

11. select

12. *

13. from

14. a

15. where

16. 列名

17. not

18. in(0)

19. --这样是用索

20. 不用。

21. 3.--子

22. where

23. select

24. *

25. from

26. a

27. where

28. a

29. not

30. in

31. (select

32. 列名from

33. a

34. where

35. a

36. =’1’)非常感谢您的耐心观看，如有帮助请采纳，祝生活愉快！谢谢！