Hive 作为一种开源的分布式数据仓库解决方案，被广泛应用于大数据处理和数据分析领域。在实际应用中，我们经常需要对两个或多个表中的数据进行比对，以确保数据的一致性和准确性。下面将介绍如何在 Hive 中校验两张表中数据是否相同的方法。

对比两张表的记录数是否相同

在进行数据比较之前，首先需要确认两张表（表结构完全相同）的记录数是否相同。比如，假设我们有表 mydw.dwd_user 和表 test.dwd_user，可以通过以下 SQL 分别获取表 mydw.dwd_user 和表 test.dwd_user 的记录数：

1
2
select count(*) as c1 from test.dwd_user;
select count(*) as c2 from mydw.dwd_user;

如果 c1 和 c2 不相等，则表不完全相同。

对比两张表去重后的记录数是否相同

使用以下 SQL 统计表去重后的记录数，如果 dc1 和 dc2 不相等，则说明表不完全相同：

1
2
3
4
5
select count(*) as dc1
from (select distinct * from mydw.dwd_user) t;

select count(*) as dc2
from (select distinct * from test.dwd_user) t;

使用UNION操作

现在获取对两张表进行联合后得到的记录数。使用下面的 SQL 获取两张表联合后的记录数：

1
2
3
4
5
6
select
	count (*)
from(
	select * from mydw.dwd_user
  union
	select * from test.dwd_user) t

如果两张表去重后的记录数等于两张表联合后得到的记录数，则可以说明两张表中的数据是相同的。

使用HASH函数比较哈希总和

如果不需要从表中找出不同的数据，并且两张表的表结构又完全相同，最好的办法是计算每个表的哈希总和，然后比较哈希总和。无论表有多少列，也无论数据类型如何，只要两张表的表结构相同，就可以使用下面的查询进行比较（只需比较返回值即可）：

1
2
select sum(hash(*)) from test.dwd_user;
select sum(hash(*)) from mydw.dwd_user;

小结

校验两张表中的数据是否相同是 Hive 中常见的任务之一。本文介绍了如何在 Hive 中校验两张表中数据是否相同的方法。通过合理运用这些方法，我们可以方便地检查表中的数据一致性，确保数据处理的准确性和可靠性。在实际应用中，根据具体情况选择合适的方法进行数据比对，可以帮助我们更好地管理和维护数据。

（END）