Hive表备份
在数据处理和分析的过程中，随着业务的发展和变化，我们可能需要对已有的 Hive 表进行调整、清理或修改表结构。为了确保操作的安全性，我们可以在进行这些操作之前先对 Hive 表进行备份。这样一来，即使在操作过程中发生了任何问题，我们也可以通过回退到备份数据来恢复之前的状态。
此外，在测试和开发环境中，我们经常需要使用真实的生产数据或者对数据进行一些实验性的操作。为了确保测试和开发工作不会对真实的生产数据造成影响，我们可以从 Hive 表中复制一份数据出来，创建一个安全的数据副本供测试和开发使用。从而可以在不影响真实生产数据的前提下进行各种实验和调试工作。
那么，如何快速备份或复制 Hive 表呢？本文将向大家介绍两种简单易行的复制 Hive 表的方法，以确保我们的数据始终处于安全可靠的状态。
方法一：使用 create table ... as ...
直接使用 create table ... as ... 复制表数据、表字段。语法如下：1
2
3create table if not exists 表名
as
select * from 要备份的表名
使用该方法虽然可以复制表的数据与字段，但表的属性会被修改。比如，如果要备份的表是分区表，那么使用该方法创建的表，分区字段将会变成普通字段，分区不存在。并且，该方法无法复制字段的 comment 备注信息。
下面的示例演示了如何使用该方法备份表。
首先，在 Hive 中创建分区表 test.dwd_user_info_snap_day：
1 | CREATE TABLE `test.dwd_user_info_snap_day`( |
然后，模拟两条数据，写入表 test.dwd_user_info_snap_day 的 20230730 分区上：
1 | with tmp as ( |
此时，查询该表的数据：
1 | select * from `test.dwd_user_info_snap_day` |
结果如下：
1 | +---------+-----------+---------------+---------------------+----------------+------------+------------+----------+ |
现在，使用 create table ... as ... 复制表数据、表字段，新的表名为 test.dwd_user_info_snap_day_bak：
1 | create table if not exists test.dwd_user_info_snap_day_bak |
查询表 test.dwd_user_info_snap_day_bak 数据：
1 | select * from test.dwd_user_info_snap_day_bak; |
结果如下：
1 | +---------+-----------+---------------+---------------------+----------------+------------+------------+----------+ |
查看表 test.dwd_user_info_snap_day_bak 的定义：
1 | show create table test.dwd_user_info_snap_day_bak; |
结果如下：
1 | CREATE TABLE `test.dwd_user_info_snap_day_bak`( |
通过对比表 test.dwd_user_info_snap_day 的定义，我们可以发现该表的属性存在差异，并且字段的备注信息也已经丢失。
方法二：先创建表，再入插数据(推荐)
1) 先建表：
1 | create table if not exists 新表名 like 旧表名; |
2) 再插入数据：
1 | insert into 新表名 select * from 旧表名 |
使用此方法可以复制表的数据与字段，但表的属性也会保持一致。
以前述的示例为例，创建新的表 test.dwd_user_info_snap_day_bak0822：
1 | create table if not exists test.dwd_user_info_snap_day_bak0822 like test.dwd_user_info_snap_day; |
插入数据：
1 | set hive.exec.dynamic.partition.mode=nonstrict; |
查询表 test.dwd_user_info_snap_day_bak0822 数据：
1 | select * from test.dwd_user_info_snap_day_bak0822; |
结果如下：
1 | +---------+-----------+---------------+---------------------+----------------+------------+------------+----------+ |
查看表 test.dwd_user_info_snap_day_bak0822 的定义：
1 | CREATE TABLE `test.dwd_user_info_snap_day_bak0822`( |
对比表 test.dwd_user_info_snap_day 的定义，我们可以发现表 test.dwd_user_info_snap_day_bak0822 的属性一致，而且字段的备注信息也没有丢失。
小结
本文介绍了两种简单易行的复制 Hive 表的方法，以确保数据的安全可靠性。
方法一：使用 create table … as …
该方法是直接使用 create table … as … 的语法来复制表数据和字段。但需要注意的是，该方法无法复制分区表的分区字段和字段的备注信息。
方法二：先创建表，再插入数据
这种方法先创建一个与原表结构相同的新表，然后通过 insert into … select * from … 的方式将数据插入新表中。与方法一不同的是，该方法可以完整地复制表的数据、字段以及属性，包括分区字段和字段的备注信息。在实际开发工作中，更推荐使用该方法复制表。
无论使用哪种方法，通过复制 Hive 表可以快速备份数据或创建安全的数据副本，以便进行调整、清理、修改表结构或在测试和开发环境中进行实验和调试工作，而不会对真实生产数据造成任何影响。
（END）
All articles on this blog are licensed under CC BY-NC-SA 4.0 unless otherwise stated.
Related Articles
2022-08-16
HiveSQL内置函数——DATEDIFF函数
DATEDIFF(string enddate, string startdate)返回从 startdate 到 enddate 的天数。 如查询从 2022-08-01 到 2022-08-16 的天数： 12-- 该查询返回结果为 15SELECT DATEDIFF('2022-08-16','2022-08-01'); 使用示例一个常见的例子是计算用户未活跃时长（天），该指标的定义：用户最后一次登录时间距离某天（一般是昨日）的天数。 1234-- 参数dt：20220815SELECT user_id, DATEDIFF(FROM_UNIXTIME(UNIX_tIMESTAMP('${dt}','yyyyMMdd')), last_login_time) FROM mydw.dwd_user 输出示例： 123456+------------+-----------+| user_id | _c1 ...
2022-08-15
HiveSQL内置函数——COALESCE函数
COALESCE(T v1, T v2, …)COALESCE，读作 /ˌkəʊəˈles/，该函数用于返回第一个不为 NULL 的 v，如果所有 v 都为 NULL，则返回 NULL。 举个例子： SELECT COALESCE(A, B, C) FROM TABLE_NAME 该 SQL 的返回值判断过程如下： 如果 A 不为 NULL，则返回 A，否则判断 B 是否为 NULL，若 B 不为 NULL，则返回 B，否则继续判断 C 是否为 NULL，若 C 不为 NULL，则返回 C，否则返回 NULL。 使用场景一个常用的场景是在一张表中的某个字段的默认值为 NULL，在查询的时候，如果该字段为 NULL，我们希望返回其他有意义的值而不是 NULL 值，这时就可以使用 COALESCE 函数。 例如，用户表（dwd_user）中的常驻城市字段（city），如果为 NULL 时，我们希望在返回给最终用户时可以显示“未知”，而不是 NULL 值，可以这么写： 1SELECT COALESCE(city, ‘未知’) FROM dwd_user 另一个常用场景是两张表做...
2022-08-24
在Presto中实现Hive LATERAL VIEW EXPLODE
我是 Presto 新手，我们公司数据仓库中有一张表（表名：dwd_user_country），记录了用户到访过的国家与地区。这里为简化问题描述，将该表结构抽象为两个字段：user_id 和 countries，其中 countries 字段的值采用英文逗号连接用户到访过的国家与地区。 表数据如下表所示： user_id countries 26841018 中国,马来西亚,美国,瑞士,泰国,冰岛 现在，我需要从该表中统计每个国家或地区的到访人数，在 Hive 语法中，我可以使用 LATERAL VIEW EXPLODE 将该表的数据转成以下格式，再按 country 字段做 GROUP BY 统计。如果现在是使用 Presto 该怎么做呢？ user_id country 26841018 中国 26841018 马来西亚 26841018 美国 26841018 瑞士 26841018 泰国 26841018 冰岛 Hive 查询 首先使用 split 函数将 countries 字段分割成数组，再使用...
2023-07-21
HiveSQL内置函数——concat_ws
定义与使用函数 concat_ws() 将两个或多个表达式与分隔符添加在一起。 注：另请参阅 CONCAT() 函数。 语法11concat_ws(string SEP, string A, string B...) 参数值 参数 说明 SEP 必填。在每个表达式之间添加的分隔符。如果分隔符为 NULL，则返回 NULL。 A,B,等 必填。要连接的字符串。值为 NULL 的字符串将被跳过。 示例 1234select concat_ws('-', 'Johnson', 'Lin'), concat_ws('-', NULL, 'Lin'), concat_ws(NULL, 'Johnson', 'Lin') 以上代码的查询结果为 12345+-----------+---+----+|_c0 |_c1|_c2...
2022-10-30
Hive表重命名
表更名 SQL： 1alter table 旧表名 rename to 新表名; 执行该命令之后，表数据所在的位置（LOCATION）会移动到新的路径下。 例如，将表 test.dws_staff_kpi_day 重命名为 test.dws_staff_kpi_month。 在更名前，查看表 test.dws_staff_kpi_day 所在的位置： 1show create table test.dws_staff_kpi_day; 结果如下所示，可以看到表数据位于 hdfs://hdp-cluster/apps/hive/warehouse/test.db/dws_staff_kpi_day 目录下： 1234567891011121314151617181920CREATE TABLE `test.dws_staff_kpi_day`( `user_id` int COMMENT '用户ID', `phone` string COMMENT '手机号码', ...)COMMENT...
2023-09-12
Hive中校验两张表中的数据是否相同的方法
Hive 作为一种开源的分布式数据仓库解决方案，被广泛应用于大数据处理和数据分析领域。在实际应用中，我们经常需要对两个或多个表中的数据进行比对，以确保数据的一致性和准确性。下面将介绍如何在 Hive 中校验两张表中数据是否相同的方法。 对比两张表的记录数是否相同在进行数据比较之前，首先需要确认两张表（表结构完全相同）的记录数是否相同。比如，假设我们有表 mydw.dwd_user 和表 test.dwd_user，可以通过以下 SQL 分别获取表 mydw.dwd_user 和表 test.dwd_user 的记录数： 12select count(*) as c1 from test.dwd_user;select count(*) as c2 from mydw.dwd_user; 如果 c1 和 c2 不相等，则表不完全相同。 对比两张表去重后的记录数是否相同使用以下 SQL 统计表去重后的记录数，如果 dc1 和 dc2 不相等，则说明表不完全相同： 12345select count(*) as dc1from (select distinct * from...