HBase Java基础操作

🕗 发布于 2024-11-21 23:16 hbase java 数据库

Apache HBase 是一个开源的、分布式的、可扩展的大数据存储系统，它基于 Google 的 Bigtable 模型。使用 Java 操作 HBase 通常需要借助 HBase 提供的 Java API。以下是一个基本的示例，展示了如何在 Java 中连接到 HBase 并执行一些基本的操作，如创建表、插入数据、扫描表以及删除数据。

一、前提条件

HBase 安装和配置：确保 HBase 已经在你的环境中正确安装和配置。
Hadoop 环境：HBase 依赖于 Hadoop，因此 Hadoop 也需要正确安装和配置。
HBase Java 客户端库：你需要将 HBase 的客户端库添加到你的 Java 项目中。通常，这可以通过 Maven 或 Gradle 来完成。

二、Maven 依赖

使用 Maven 来管理项目依赖，可以在 pom.xml 文件中添加以下依赖：

<dependencies>
    <dependency>
        <groupId>org.apache.hbase</groupId>
        <artifactId>hbase-client</artifactId>
        <version>2.4.9</version> <!-- 请根据你的 HBase 版本选择合适的版本 -->
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>3.3.1</version> <!-- 请根据你的 Hadoop 版本选择合适的版本 -->
    </dependency>
</dependencies>

三、建立连接

在使用HBase Java API之前，首先需要建立与HBase的连接。这通常涉及到配置HBase的连接信息，如Zookeeper的地址和端口等。

Configuration configuration = HBaseConfiguration.create();
configuration.set("hbase.zookeeper.quorum", "your_zookeeper_quorum"); // 设置Zookeeper的地址
configuration.set("hbase.zookeeper.property.clientPort", "your_zookeeper_port"); // 设置Zookeeper的端口
Connection connection = ConnectionFactory.createConnection(configuration);

四、对表的操作

创建表
创建表需要指定表名和列族。HBase中的表是由列族构成的，每个列族下可以包含多个列。

Admin admin = connection.getAdmin();
if (!admin.tableExists(TableName.valueOf("your_table_name"))) {
    HTableDescriptor tableDescriptor = new HTableDescriptor(TableName.valueOf("your_table_name"));
    tableDescriptor.addFamily(new HColumnDescriptor("your_column_family"));
    admin.createTable(tableDescriptor);
}

删除表
在删除表之前，需要先禁用该表。

if (admin.tableExists(TableName.valueOf("your_table_name"))) {
    admin.disableTable(TableName.valueOf("your_table_name"));
    admin.deleteTable(TableName.valueOf("your_table_name"));
}

判断表是否存在

boolean exists = admin.tableExists(TableName.valueOf("your_table_name"));

列出所有表

HTableDescriptor[] tables = admin.listTables();
for (HTableDescriptor table : tables) {
    System.out.println(table.getNameAsString());
}

五、对数据的操作

添加数据
添加数据需要指定表名、行键、列族、列名以及对应的值。

Table table = connection.getTable(TableName.valueOf("your_table_name"));
Put put = new Put(Bytes.toBytes("your_row_key"));
put.addColumn(Bytes.toBytes("your_column_family"), Bytes.toBytes("your_column"), Bytes.toBytes("your_value"));
table.put(put);
table.close();

获取数据
获取数据可以使用Get类来指定要获取的行键和列。

Table table = connection.getTable(TableName.valueOf("your_table_name"));
Get get = new Get(Bytes.toBytes("your_row_key"));
get.addColumn(Bytes.toBytes("your_column_family"), Bytes.toBytes("your_column"));
Result result = table.get(get);
byte[] value = result.getValue(Bytes.toBytes("your_column_family"), Bytes.toBytes("your_column"));
String valueStr = Bytes.toString(value);
table.close();

扫描数据
扫描数据可以使用Scan类来指定要扫描的表、列族、列等条件。

Scan scan = new Scan();
scan.setCaching(500); // 设置每次扫描的缓存大小
scan.setCacheBlocks(false); // 设置是否缓存数据块
scan.addFamily(Bytes.toBytes("your_column_family")); // 添加要扫描的列族
 
ResultScanner scanner = table.getScanner(scan);
for (Result result : scanner) {
    // 处理扫描结果
    byte[] rowKey = result.getRow();
    String rowKeyStr = Bytes.toString(rowKey);
    // 获取指定列的值
    byte[] value = result.getValue(Bytes.toBytes("your_column_family"), Bytes.toBytes("your_column"));
    String valueStr = Bytes.toString(value);
    // 输出结果
    System.out.println("RowKey: " + rowKeyStr + ", Value: " + valueStr);
}
scanner.close();
table.close();

删除数据
删除数据需要指定表名、行键以及要删除的列（可选）。

Table table = connection.getTable(TableName.valueOf("your_table_name"));
Delete delete = new Delete(Bytes.toBytes("your_row_key"));
delete.addColumn(Bytes.toBytes("your_column_family"), Bytes.toBytes("your_column")); // 可选，指定要删除的列
table.delete(delete);
table.close();

六、关闭连接

在完成所有操作后，需要关闭与HBase的连接以释放资源。

connection.close();

七、示例代码

以下是一个完整的 Java 示例代码，展示了如何连接到 HBase 并执行基本的操作：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;

import java.io.IOException;

public class HBaseExample {

    public static void main(String[] args) {
        // 创建 HBase 配置对象
        Configuration config = HBaseConfiguration.create();
        config.set("hbase.zookeeper.quorum", "localhost"); // 设置 Zookeeper 地址
        config.set("hbase.zookeeper.property.clientPort", "2181"); // 设置 Zookeeper 端口

        // 创建连接对象
        try (Connection connection = ConnectionFactory.createConnection(config);
             Admin admin = connection.getAdmin()) {

            // 创建表
            createTable(admin, "my_table", "my_column_family");

            // 插入数据
            insertData(connection, "my_table", "row1", "my_column_family", "column1", "value1");

            // 扫描表
            scanTable(connection, "my_table");

            // 删除数据
            deleteData(connection, "my_table", "row1", "my_column_family", "column1");

            // 删除表（可选）
            // deleteTable(admin, "my_table");

        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    private static void createTable(Admin admin, String tableName, String columnFamily) throws IOException {
        TableName table = TableName.valueOf(tableName);
        if (!admin.tableExists(table)) {
            HTableDescriptor tableDescriptor = new HTableDescriptor(table);
            HColumnDescriptor columnDescriptor = new HColumnDescriptor(columnFamily);
            tableDescriptor.addFamily(columnDescriptor);
            admin.createTable(tableDescriptor);
            System.out.println("Table created: " + tableName);
        } else {
            System.out.println("Table already exists: " + tableName);
        }
    }

    private static void insertData(Connection connection, String tableName, String rowKey, String columnFamily, String column, String value) throws IOException {
        TableName table = TableName.valueOf(tableName);
        try (Table table = connection.getTable(table)) {
            Put put = new Put(Bytes.toBytes(rowKey));
            put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(column), Bytes.toBytes(value));
            table.put(put);
            System.out.println("Data inserted: " + rowKey + ", " + column + " = " + value);
        }
    }

    private static void scanTable(Connection connection, String tableName) throws IOException {
        TableName table = TableName.valueOf(tableName);
        try (Table table = connection.getTable(table);
             ResultScanner scanner = table.getScanner(new Scan())) {

            for (Result result : scanner) {
                System.out.println("Scanned row: " + Bytes.toString(result.getRow()));
                result.getNoVersionMap().forEach((family, familyMap) -> {
                    familyMap.forEach((qualifier, value) -> {
                        System.out.println("Family: " + Bytes.toString(family) + ", Qualifier: " + Bytes.toString(qualifier) + ", Value: " + Bytes.toString(value.get()));
                    });
                });
            }
        }
    }

    private static void deleteData(Connection connection, String tableName, String rowKey, String columnFamily, String column) throws IOException {
        TableName table = TableName.valueOf(tableName);
        try (Table table = connection.getTable(table)) {
            Delete delete = new Delete(Bytes.toBytes(rowKey));
            delete.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(column));
            table.delete(delete);
            System.out.println("Data deleted: " + rowKey + ", " + column);
        }
    }

    private static void deleteTable(Admin admin, String tableName) throws IOException {
        TableName table = TableName.valueOf(tableName);
        if (admin.tableExists(table)) {
            admin.disableTable(table);
            admin.deleteTable(table);
            System.out.println("Table deleted: " + tableName);
        } else {
            System.out.println("Table does not exist: " + tableName);
        }
    }
}

说明

创建配置对象：使用 HBaseConfiguration.create() 创建 HBase 配置对象，并设置 Zookeeper 的地址和端口。
创建连接对象：使用 ConnectionFactory.createConnection(config) 创建 HBase 连接对象。
创建表：通过 Admin 接口的 createTable 方法创建表。
插入数据：使用 Put 对象将数据插入到指定的表中。
扫描表：使用 Scan 对象扫描表并获取数据。
删除数据：使用 Delete 对象删除指定的数据。
删除表：如果需要删除表，可以先禁用表，然后删除表（此操作在示例中是注释掉的，以防止意外删除）。

注意事项

确保 HBase 和 Zookeeper 正在运行，并且配置正确。
根据你的 HBase 和 Hadoop 版本调整依赖版本。
在生产环境中，务必进行充分的错误处理和资源管理（如关闭连接和释放资源）。

原文地址：https://blog.csdn.net/mqiqe/article/details/143921766

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：数据结构——栈和队列的模拟实现
下一篇：若依笔记（十一）：芋道多租户限制与修改

【Go】-go中的锁机制
简单的说方法内联就是将被调用方函数代码“复制”到调用方函数中，减少函数调用开销，在2018年之前的go版本中，所有的逻辑都在Lock函数中，并没有拆出来，2018年之后Go开发者将slow path拆
阅读更多2024-11-25
基于Java Springboot校园跑腿系统
项目编号：springbootA188随着互联网技术的不断发展和校园生活的多样化需求，校园跑腿系统应运而生。该系统旨在为大学生提供一个便捷的在线服务平台，解决校园内学生因时间紧张、事务繁忙而无法亲自处
阅读更多2024-11-25
【Leecode】Leecode刷题之路第59天之螺旋矩阵II
代码示例：（Java）代码示例：（Java）代码示例：（Java）
阅读更多2024-11-25
C++共享智能指针
C++中没有垃圾回收机制，必须自己释放分配的内存，否则就会造成内存泄漏。解决这个问题最有效的方式是使用智能指针。智能指针是存储指向动态分配(堆)对象指针的类，用于生存期的控制，能够确保在离开指针所在作
阅读更多2024-11-25
使用NAS开启无纸化办公，Docker部署开源文档管理系统『Paperless-ngx』
今天分享的这个项目还是非常实用了，它可以让我们更好地管理他们的文档，提高生产力，减少纸张使用，不管是对企业还是个人都是一个实用的解决方案，有兴趣的小伙伴可以整起来了！最近正逢极空间双十一感恩回馈大促销
阅读更多2024-11-25
【数字图像处理+MATLAB】通过 Roberts, Prewitt, Sobel, LoG 等算子实现图像边缘检测：使用 edge 函数
边缘检测是图像处理中的一种技术，用于识别图像中的物体边界。边缘是图像亮度函数快速变化的地方，通常对应于物体或物体部分的边界。边缘检测的目标是显著减少图像中的数据量，同时保留有用的结构信息。常用的边缘检
阅读更多2024-11-25
设计模式——前端控制器模式
前端控制器模式（Front Controller Pattern）是一种软件设计模式，主要用于集中处理 Web 应用或其他多层架构应用的请求。它作为一个单一的入口点来接收和处理所有的客户端请求，将请求
阅读更多2024-11-25
吊车-双摆系统的控制
吊车双摆控制
阅读更多2024-11-25
原生openGauss与Oracle数据库函数兼容性对比验证测试
近期在进行调研去O,为此研究了下原生openGauss和Oracle数据库兼容性，特整理测试了Oracle常用函数和openGauss数据库的对比测试。
阅读更多2024-11-25
修复kernel编译栈帧大小异常问题error: the frame size of 1928 bytes is larger than 1024 bytes
并且内存是4K分页，创建一个内核栈就需要申请连续2块的4K页，内存紧张的时候，申请8K的连续内存比申请4K困难的多；(1)栈内存申请过大，或者函数调用层次太深都会导致栈溢出，引起系统崩溃，在编译时会去
阅读更多2024-11-25