【大数据】HDFS、HBase操作教程（含指令和JAVA API）

news/2024/6/16 20:09:50

目录

1.前言

2.HDFS

2.1.指令操作

2.2.JAVA API

3.HBase

3.1.指令操作

3.2.JAVA API

1.前言

本文是作者大数据专栏系列的其中一篇，前文中已经详细聊过分布式文件系统HDFS和分布式数据库HBase了，本文将会是它们的实操讲解。

HDFS相关前文：

【大数据】分布式文件系统HDFS-CSDN博客

【大数据】大数据概论与Hadoop_大数据导论与hadoop-CSDN博客

HBase相关前文：

【大数据】分布式数据库HBase-CSDN博客

【大数据】分布式数据库HBase下载安装教程-CSDN博客

2.HDFS

2.1.指令操作

创建目录：

hdfs dfs -mkdir /user/mydir

递归创建目录：

hdfs dfs -mkdir -p /user/mydir/subdir

上传文件到HDFS：

hdfs dfs -put localfile.txt /user/mydir/

下载文件到本地：

hdfs dfs -get /user/mydir/file.txt localdir/

删除文件：

hdfs dfs -rm /user/mydir/file.txt

递归删除目录：

hdfs dfs -rm -r /user/mydir

查看目录内容：

hdfs dfs -ls /user/mydir

递归查看目录内容：

hdfs dfs -lsr /user/mydir

查看文件详细信息：

hdfs dfs -stat /user/mydir/file.txt

移动或重命名文件：

hdfs dfs -mv /user/mydir/file.txt /user/mydir/newfile.txt

复制文件、目录：

hdfs dfs -cp /user/mydir/file.txt /user/mydir2/

查看文件内容：

hdfs dfs -cat /user/mydir/file.txt

2.2.JAVA API

首先这里有个巨坑：

一定要把core-site.xml里面的fs.defaultFS换成真实IP地址，不能用localhsot

<configuration<property><name>hadoop.tmp.version</name><value>file:/usr/local/hadoop/tmp</value></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>

如果JAVA API的client端会先找HDFS拿到fs.defaultFS，然后再去访问拿到的地址上的HDFS，如果JAVA API的client端和HDFS不在一台机器上，JAVA API的Client就会去访问它本地的localhost的9000端口上的服务，会直接报错：

Connection refused: no further information

依赖：

<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>3.1.3</version>
</dependency>

代码示例：

import java.io.*;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
​
public class HDFSSample {
​public static void main(String[] args) throws IOException {Configuration conf = new Configuration();FileSystem fs = FileSystem.get(conf);
​// 创建目录createDirectory(fs, "/user/hadoop/testdir");
​// 上传文件uploadFile(fs, "/user/hadoop/testfile.txt", "C:/localfile.txt");
​// 下载文件downloadFile(fs, "/user/hadoop/testfile.txt", "C:/downloadedfile.txt");
​// 列出目录内容listDirectory(fs, "/user/hadoop");
​// 删除文件deleteFile(fs, "/user/hadoop/testfile.txt");
​// 删除目录deleteDirectory(fs, "/user/hadoop/testdir");
​// 关闭文件系统fs.close();}
​private static void createDirectory(FileSystem fs, String dirPath) throws IOException {fs.mkdirs(new Path(dirPath));System.out.println("Directory created: " + dirPath);}
​private static void uploadFile(FileSystem fs, String hdfsPath, String localFilePath) throws IOException {Path hdfsPathObj = new Path(hdfsPath);Path localPathObj = new Path(localFilePath);fs.copyFromLocalFile(false, true, localPathObj, hdfsPathObj);System.out.println("File uploaded: " + localFilePath + " to " + hdfsPath);}
​private static void downloadFile(FileSystem fs, String hdfsPath, String localFilePath) throws IOException {Path hdfsPathObj = new Path(hdfsPath);Path localPathObj = new Path(localFilePath);fs.copyToLocalFile(true, hdfsPathObj, localPathObj);System.out.println("File downloaded: " + hdfsPath + " to " + localFilePath);}
​private static void listDirectory(FileSystem fs, String dirPath) throws IOException {for (FileStatus file : fs.listStatus(new Path(dirPath))) {System.out.println("File/Directory: " + file.getPath().toString());}}
​private static void deleteFile(FileSystem fs, String filePath) throws IOException {Path filePathObj = new Path(filePath);if (fs.exists(filePathObj)) {fs.delete(filePathObj, false);System.out.println("File deleted: " + filePath);} else {System.out.println("File not found: " + filePath);}}
​private static void deleteDirectory(FileSystem fs, String dirPath) throws IOException {Path dirPathObj = new Path(dirPath);if (fs.exists(dirPathObj)) {fs.delete(dirPathObj, true);System.out.println("Directory deleted: " + dirPath);} else {System.out.println("Directory not found: " + dirPath);}}
}

3.HBase

3.1.指令操作

创建一个列族为info的student表：

create 'Student', 'info'

往表里插数据：

put 'Student', '1', 'info:id', '1'

put 'Student', '1', 'info:name', 'Alice' put 'Student', '1', 'info:age', '20'

put 'Student', '1', 'info:major', 'Computer Science'

put 'Student', '2', 'info:id', '2'

put 'Student', '2', 'info:name', 'Bob' put 'Student', '2', 'info:age', '21'

put 'Student', '2', 'info:major', 'Mathematics'

查询单个：

get 'Student', '1'

查询批量：

scan 'Student'

条件批量查询：

scan 'Student', {FILTER => "SingleColumnValueFilter('info','age', >=, 'binary:20')"}

在HBase中，Scan对象用于定义在表上进行扫描时的参数，包括哪些行和列需要被检索，以及如何处理这些数据。Filter是Scan的一部分，用于在服务器端对返回的数据进行过滤，以减少网络传输的数据量，提高查询效率。 Filter类提供了一种方式来指定复杂的过滤逻辑，允许你基于行键（Row Key）、列族、列限定符和时间戳来筛选结果。以下是一些常见的Filter类型及其用法：

  • RowFilter： 用于基于行键的比较，如RowFilter(=, 'binary:rowKey')，匹配特定的行键。

  • SingleColumnValueFilter： 用于基于列族和列限定符的值进行比较，如SingleColumnValueFilter('cf', 'qualifier', CompareOp.GREATER_OR_EQUAL,BinaryComparator.valueOf(Bytes.toBytes(20)))，匹配特定列族和列限定符的值大于或等于给定值的行。

  • PrefixFilter： 用于匹配以特定前缀开头的行键，如PrefixFilter(Bytes.toBytes('row-prefix'))。

  • RegexStringComparator： 用于基于正则表达式匹配行键，如RowFilter(CompareOp.EQUAL, RegexStringComparator('.pattern.'))。

  • MultipleColumnPrefixFilter： 用于匹配具有相同前缀的多个列，如MultipleColumnPrefixFilter(Bytes.toBytes('col-prefix'))。

  • PageFilter： 用于限制返回结果的数量，这对于大数据量的扫描很有用，如PageFilter(pageSize)，pageSize是你希望一次返回的最大行数。

  • TimestampsFilter： 用于指定返回的行必须包含特定时间戳范围内的版本，如TimestampsFilter(timestamps)，timestamps是一个包含多个时间戳的列表。

  • ValueFilter 和 QualifierFilter： 分别基于列值和列限定符进行过滤。

使用不同类型的过滤器的指令示例：

RowFilter（基于行键过滤）

scan 'Student', {FILTER => "RowFilter(=, 'regexstring:^1')"}

SingleColumnValueFilter（基于特定列的值过滤）

scan 'Student', {FILTER => "SingleColumnValueFilter ('info', 'age', >=, 'binary:20')"}

PrefixFilter（基于列前缀过滤）

scan 'Student', {FILTER => "PrefixFilter(Bytes.toBytes('info'))"}

RegexStringComparator（基于列值的正则表达式过滤）

scan 'Student', {FILTER => "RowFilter(=, 'regexstring:.Alice.')"}

MultipleColumnPrefixFilter（基于多列前缀过滤）

scan 'Student', {FILTER => "MultipleColumnPrefixFilter(Bytes.toBytes('info'))"}

ValueFilter（基于列值的比较过滤）

scan 'Student', {FILTER => "ValueFilter(=, 'binary:Alice')"}

QualifierFilter（基于列限定符的比较过滤）

scan 'Student', {FILTER => "QualifierFilter(=, 'binary:age')"}

清理表：

delete 'Student', '1' delete 'Student', '2' delete 'Student', '3' disable 'Student' drop 'Student'

3.2.JAVA API

HBase也要注意和HDFS中相似的问题，hbase-site.xml中也要用真实的IP地址，不然JAVA API的Client端和HBase不在一台机器上的会，就会访问不到HBase，下面的代码中作为演示代码并没有用真实IP，仍然用的LocalHost，这点要注意。

依赖：

<dependency>
    <groupId>org.apache.hbase</groupId>
    <artifactId>hbase-client</artifactId>
    <version>2.2.2</version>
</dependency>
 

代码示例：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.util.Bytes;public class HBaseExample {public static void main(String[] args) {Configuration config = HBaseConfiguration.create();config.set("hbase.zookeeper.quorum", "localhost"); // 设置ZooKeeper地址config.set("hbase.zookeeper.property.clientPort", "2181"); // 设置ZooKeeper端口try (Connection connection = ConnectionFactory.createConnection(config);Table table = connection.getTable(TableName.valueOf("students"))) {// 创建表table.createIfNotExists();// 插入数据Put put1 = new Put(Bytes.toBytes("student1"));put1.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"), Bytes.toBytes("Alice"));put1.addColumn(Bytes.toBytes("info"), Bytes.toBytes("age"), Bytes.toBytes("20"));put1.addColumn(Bytes.toBytes("info"), Bytes.toBytes("major"), Bytes.toBytes("CS"));table.put(put1);Put put2 = new Put(Bytes.toBytes("student2"));put2.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"), Bytes.toBytes("Bob"));put2.addColumn(Bytes.toBytes("info"), Bytes.toBytes("age"), Bytes.toBytes("21"));put2.addColumn(Bytes.toBytes("info"), Bytes.toBytes("major"), Bytes.toBytes("Math"));table.put(put2);// 查询数据Get get = new Get(Bytes.toBytes("student1"));Result result = table.get(get);System.out.println("Name: " + Bytes.toString(result.getValue(Bytes.toBytes("info"), Bytes.toBytes("name"))));System.out.println("Age: " + Bytes.toInt(result.getValue(Bytes.toBytes("info"), Bytes.toBytes("age"))));System.out.println("Major: " + Bytes.toString(result.getValue(Bytes.toBytes("info"), Bytes.toBytes("major"))));// 根据条件删除数据Delete delete = new Delete(Bytes.toBytes("student1"));table.delete(delete);} catch (IOException e) {e.printStackTrace();}}
}


http://www.mrgr.cn/p/16808303

相关文章

LeetCode 题目 119：杨辉三角 II

LeetCode 题目 119：杨辉三角 II

作者介绍&#xff1a;10年大厂数据\经营分析经验&#xff0c;现任字节跳动数据部门负责人。 会一些的技术&#xff1a;数据分析、算法、SQL、大数据相关、python&#xff0c;欢迎探讨交流 欢迎加入社区&#xff1a;码上找工作 作者专栏每日更新&#xff1a; LeetCode解锁1000题…
阅读更多...
python教程12-面向对象进阶

python教程12-面向对象进阶

1、classmethod类方法 类方法只能访问类变量，不能访问实例变量2、staticmethod静态方法 不能访问类变量，也不能访问实例变量。除非在实例调用时给方法传实例。3、反射1-判断对象是否有属性的情况 用法： 实例： __name__，模块被其他模块导入的时候调用，是你叫的名字。模块自…
阅读更多...
Windows系统完全卸载删除 Node.js （包含控制面板找不到node.js选项情况）

Windows系统完全卸载删除 Node.js （包含控制面板找不到node.js选项情况）

1.打开cmd命令行窗口&#xff0c;输入npm cache clean --force 回车执行 2.打开控制面板&#xff0c;在控制面板中把Node.js卸载 移除之后检查环境变量是否也移除&#xff1a;点击Path&#xff0c;点击编辑。 把环境变量中和node有关的全部移除&#xff0c;然后点击确定。 3.重…
阅读更多...
Loongnix系统替换内核操作

Loongnix系统替换内核操作

Loongnix系统替换内核操作 一、终端下执行命令 sudo apt search linux-image* 返回结果中格式如: linux-image-4.19.0-19-loongson-3 为最新的内核源码。 二、下载内核源码包 sudo apt source linux-image-4.19.0-19-loongson-3 如提示&#xff1a;E: 您必须在 sources.li…
阅读更多...
宝塔docker快速安装Halo

宝塔docker快速安装Halo

宝塔docker快速安装Halo 一、Docker 部署Halo 我们前面还是需要先在宝塔面板环境中安装Docker，一般默认时候是没有安装的。这里我们在宝塔面板中的Docker管理器应用商店中安装。我们可以看到直接等待安装成功。后面在部署程序的时候有需要用到这里界面。二、这里我们在【镜像管…
阅读更多...
环形链表（给定一个链表的头节点 head ，返回链表开始入环的第一个节点）的原理讲解

环形链表（给定一个链表的头节点 head ，返回链表开始入环的第一个节点）的原理讲解

一&#xff1a;题目 二&#xff1a;原理讲解 解决这个题目 &#xff0c;我们得先理解它的原理。 1&#xff1a; 首先假设两个指针&#xff0c;一个快指针fast&#xff0c;一个慢指针slow&#xff0c;fast一次移动两个节点&#xff0c;slow一次移动一个节点。&#xff08;前面…
阅读更多...
决策管理中的数学方法

决策管理中的数学方法

需要注意的是，用excel求解的时候需要导入线性规划加载项如下： pert分析需要DecisionTools中的RiskSolver插件 1.链接：https://pan.baidu.com/s/1wKhUFWgNmQ7U33kl5AypZw 提取码：zqkn 2.“Palisade_Book_expires_Aril_10_2025.lic”文件复制到以下路径： C:\Program Files …
阅读更多...
Spring MVC（建立连接 + 请求）

Spring MVC（建立连接 + 请求）

文章目录 一、建立客户端和服务器的连接二、如何构造请求&#xff08;传参&#xff09;2.1 构造请求方式 参数通用注解2.2 传递单个参数2.3 传递多个参数2.4 传递数组/集合2.5 传递对象2.6 传递JSON 三、相关的其他请求操作3.1 获取URL中的参数 PathVariable3.2 上传文件 Requ…
阅读更多...
ipa 分区算法分析，图解

ipa 分区算法分析，图解

参考 Room Segmentation: Survey, Implementation, and Analysis. 分区算法调查&#xff0c;实现以及评估对比 相关论文 分区算法 New Brooms Sweep Clean - An Autonomous Robotic Cleaning Assistant for Professional Office Cleaning 形态分割 Interactive SLAM using …
阅读更多...
uniapp 小程序图片懒加载组件 ImageLazyLoad

uniapp 小程序图片懒加载组件 ImageLazyLoad

预览图 组件【ImageLazyLoad】代码 <template><viewclass"image-lazy-load":style"{opacity: opacity,borderRadius: borderRadius rpx,background: background,transition: opacity ${time / 1000}s ease-in-out,}":class"image-lazy-loa…
阅读更多...
1.分布式-理论

1.分布式-理论

目录 一、什么是分布式系统 二、CAP理论 1.一致性Consisency 2.可用性(Availability) 3.分区容错性(Partition tolrance) 三、BASE理论 1.Basically Available(基本可用) 2.Soft state&#xff08;软状态&#xff09; 3.Eventually consistent&#xff08;最终一致性&a…
阅读更多...
当代 Qt 正确的 安装方法 及 多版本切换

当代 Qt 正确的 安装方法 及 多版本切换

此文写于 20240511 首先去网站Index of /official_releases/online_installers下载一个安装器 安装器有什么用? 可以浏览安装版本 安装组件 安装器版本越能 能装的东西越多 现在只能选Qt5 和 Qt6 至于你公司用的Qt4 我也没招 见招时再拆招 安装器 默认国外源 可以换国内…
阅读更多...
Bean的作用域和自动装配

Bean的作用域和自动装配

Spring Bean的作用域主要有五种Singleton是单例类型，就是在创建起容器时就同时自动创建了一个bean的对象，不管你是否使用，他都存在了，每次获取到的对象都是同一个对象。注意，singleton作用域是Spring中的缺省作用域（默认的作用域）。 prototype是原型类型，它在我们创建容…
阅读更多...
从0开始学python（七）

从0开始学python（七）

目录 前言 1 break、continue和pass函数 1.1 break 1.2 continue 1.3 pass 2、序列的索引及切片操作 2.1字符串的索引和切片 2.1.1 字符串索引 2.1.2 字符串切片 总结 前言 上一篇文章我们介绍了python中的循环结构&#xff0c;包括for和while的使用。本章接着往下讲。…
阅读更多...
Chatgpt的应用场景

Chatgpt的应用场景

文案创作类&#xff1a; 作为一名大型语言模型&#xff0c;ChatGPT可以为使用者提供多种文本处理和文字创作方面的服务&#xff0c;例如&#xff1a; 文本生成和创作 ChatGPT可以基于您提供的主题、关键词或文本段落&#xff0c;生成符合使用者要求的新文本。这些文本可以是文…
阅读更多...
跟着ChatGPT学算法-完全背包问题

跟着ChatGPT学算法-完全背包问题

一、题目 给定 n 个物品，第 i 个物品的重量为 wgt[i-1]、价值为 val[i-1] ，和一个容量为 cap 的背包。每个物品可以重复选取，问在限定背包容量下能放入物品的最大价值。二、和ChatGPT聊聊您 您是一位资深算法工程师，请深入浅出地给出完全背包问题的分析过程和完整带注释的J…
阅读更多...
类型注解-Python

类型注解-Python

师从黑马程序员 类型注解的语法 类型注释的限制 import json import randomvar_1 : int10 var_2 : str"itheima" var_3 : boolTrueclass Student:pass stu :StudentStudent()my_list:list [1,2,3] my_tuple:tuple(1,2,3) my_dict:dict{"itheima":666}my_l…
阅读更多...
MySQL5.7安装详细过程--window系统

MySQL5.7安装详细过程--window系统

一：MySQL5.7安装详细过程--window系统1.1、下载MySQL5.7安装包https://downloads.mysql.com/archives/community/1.2、将文件解压到盘符中你可以解压到你想解压的位置，放在C或其他盘符都可以。1.3、配置MySQL的环境变量由于我们下载的不是exe或者msi版本，不能直接双击安装，…
阅读更多...
一文学会 Kubernetes Pod 的生命周期管理（转载）

一文学会 Kubernetes Pod 的生命周期管理（转载）

收获 了解 Pod 的状态（Status） 了解 pod 阶段（Phase） 了解 Pod conditions了解容器状态（Status） 保持容器健康了解容器自动重启使用探活（liveness）探针（Probe）检查容器的健康状况如果程序启动缓慢，请使用 startup probeLiveness probe 一些建议 在容器启动和关闭时执…
阅读更多...
笨方法自学python（一）

笨方法自学python（一）

我觉得python和c语言有很多相似之处&#xff0c;如果有c语言基础的话学习python也不是很难。这一系列主要是学习例题来学习python&#xff1b;我用的python版本是3.12 代码编辑器我用的是notepad&#xff0c;运行py程序用cmd 现在开始写第一个程序&#xff1a; print ("…
阅读更多...
推荐文章

Copyright @ 2022~2023