Presto关键字EXCEPT详解
EXCEPT 是 Presto 中一个关键字，用于执行两个查询的差集操作。它在 Presto 中起到了非常重要的作用，可以帮助我们更方便地处理和分析数据。 EXCEPT基本用法在 Presto 中，使用 EXCEPT 关键字进行两个查询之间的差集操作时，需要注意以下几点： 查询的结果集必须具有相同的列数和相似的数据类型。 查询的结果集中的列名称必须相同或具有相似的别名。 EXCEPT 关键字只返回第一个查询的结果集中存在，但在第二个查询的结果集中不存在的行。 结果集中的行将按照第一个查询的顺序进行排列。 使用示例下面是一个最简单的 EXCEPT 子句示例。第一个查询结果集为 13 和 42，第二个查询结果集为 13。因为 13 也在第二个查询的结果集中，因此它不会被包含在最终结果集中： 123SELECT * FROM (VALUES 13, 42)EXCEPTSELECT 13; 输出结果为： 1234 _col0------- 42(1 row) 接下来，我们再来看一个实际的例子来说明 EXCEPT 的用法。假设我们有两个表，一个是...
Apache Paimon 0.5正式发布
Apache Paimon 0.5.0-incubating 版本终于在今天正式发布了。有近 100 位贡献者参与了此版本的开发，共完成了 500 多次代码提交，为社区带来了许多令人兴奋的新功能和改进。 该版本的主要亮点功能如下： CDC 数据入湖的功能已经成熟。 引入了标签的概念，为离线数据仓库提供不可变视图。 主键表的动态桶模式已投入生产。 引入仅追加模式可扩展表，以取代 Hive 表。 CDC摄入Paimon 支持多种方式将数据导入 Paimon 表，并支持模式演化。在 0.5 版本中，新增了许多新功能，包括： MySQL 数据表同步 支持将分片数据同步到一个 Paimon 表中。 支持将所有字段类型映射为字符串。 MySQL 数据库同步 支持合并多个数据库中的多个分片数据。 支持 --mode combined 模式，将所有表整合到一个统一的数据汇中进行同步，并支持在不重启作业的情况下同步新增的表。 从 Kafka 同步数据表 将 Kafka 主题里的数据表同步到 Paimon 表中。 支持 Canal 和 OGG 格式。 从 Kafka...
极简教程 - Gson
深入解析Gson：一个强大的Java JSON库 深入了解Gson：Java对象的序列化和反序列化 Gson基本使用：序列化与反序列化操作详解 使用Gson进行数组、集合和映射的序列化与反序列化 使用Gson对嵌套类进行序列化和反序列化 深入探索Gson的泛型序列化和反序列化能力 使用Gson库在Java中实现下划线与驼峰格式的转换 Java使用Gson判断字符串是否为JSON格式 在Java中如何使用Gson库序列化NULL字段 使用Gson将字符串转成JsonObject对象 Java使用Gson库格式化输出JSON字符串
数据分析的知识体系
引言数据分析作为一种将原始数据转化为有价值信息的过程，在当今数据驱动的社会中变得越来越重要。本文将从数据采集、数据挖掘和数据可视化三个环节，介绍数据分析所涉及的主要知识点，以帮助读者全面了解数据分析的知识体系。 一、数据采集数据采集是数据分析的第一步，决定了后续分析的质量和准确性。在数据采集阶段，需要关注以下知识点： 数据来源：了解数据的来源渠道，如数据库、文件、传感器等，以便进行相应的数据获取方法选择。 数据获取：选择适当的数据获取方法，如 API 接口、网页爬虫等，确保能够高效、准确地获取到所需数据。 学会使用第三方工具如八爪鱼、火车采集器、搜集客采集数据，最好能编写 Python（Scrapy、Selenium、PhantomJS、lxml）爬虫。 数据存储：选择合适的数据存储方式，如关系型数据库、非关系型数据库、云存储、分布式文件系统等，以方便后续的数据挖掘和分析。...
Gson基本使用：序列化与反序列化操作详解
在本文中，我们将学习如何使用 Gson 进行序列化和反序列化操作。 在Maven中使用Gson要在 Maven 中使用 Gson，可以通过添加以下依赖关系，使用 Maven Central 中的 Gson 版本： 123456789<dependencies> <!-- Gson: Java to JSON conversion --> <dependency> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId> <version>2.10.1</version> <scope>compile</scope> </dependency></dependencies> 现在，我们的 Maven 项目已经成功地集成了 Gson。 序列化与反序列化原始类型以下代码演示了使用 Gson...
我收到的最好的职业建议
本文翻译自 Nicholas C. Zakas 的原创英文文章《The best career advice I’ve received》，希望能够以中文的形式把这些观点传播开来，在这里对原作者表示致敬。 Nicholas C. Zakas 是前端大牛工程师，全世界最著名的 JavaScript 程序员之一。目前在 Box 公司任职，之前是在雅虎将近工作 5 年。在雅虎期间，他是雅虎首页的前端技术主管，并且是 YUI 库的贡献者。 Nicholas 编写的技术书有：《Maintainable JavaScript | 编写可维护的 JavaScript》、《Professional JavaScript for Web Developers | JavaScript高级程序设计》、《High Performance JavaScript | 高性能JavaScript》、《Professional...
深入解析Gson：一个强大的Java JSON库
引言在现代的软件开发中，处理 JSON 数据是非常常见的任务。而为了简化 JSON 数据的解析和生成过程，我们可以借助一个强大而灵活的 Java 库——Gson。作为一个非常流行的开源 Java 库，它的主要用途是将 Java 对象序列化为 JSON 字符串，或者将 JSON 字符串反序列化为 Java 对象。它提供了简单易用的 API，使得处理 JSON 数据变得轻而易举。本篇博文将详细介绍 Gson 库的特性和使用方法，并通过示例代码展示其在实际场景中的应用。 Gson 经历了多个版本的迭代，目前已经成熟而稳定，处于维护模式。这意味着它会继续修复现有的错误，但可能不会添加大型的新功能。 Gson的特性 简单易用：Gson 提供了简洁的 API，使得将 Java 对象序列化为 JSON 或将 JSON 反序列化为 Java 对象变得非常简单。 高度灵活：Gson 支持自定义序列化和反序列化的规则，可以满足各种复杂的数据结构和业务需求（具有深度继承层次结构并广泛使用泛型类型）。 配置灵活：通过设置不同的配置选项，如日期格式、字段排除策略等，可以灵活地控制 Gson...
探索流式应用的性能指标：延迟和吞吐量解析
批处理应用和流式应用在性能需求上有所区别。对于批处理应用而言，我们通常关心作业的总执行时间，即从处理引擎读取输入、执行计算、写回结果所需的时间。但在数据流处理中，由于流式应用会持续执行且输入可能是无限的，所以没有总执行时间的概念。相反，流式应用需要尽可能快地计算结果，并能处理高速的事件接入。因此，我们用延迟和吞吐来表示这两方面的性能需求。 延迟延迟是指处理一个事件所需的时间，从接收事件到在输出中观察到事件处理效果的时间间隔。为了更直观地理解延迟，我们可以以去咖啡店喝咖啡为例。当你进门时，可能已经有其他顾客在里面了，需要排队等候。收银员收到你的付款后，将订单交给咖啡师准备饮品。饮品制作完成后，咖啡师会叫你的名字，你才能从吧台取走咖啡。在这个过程中，你在店内买咖啡的时间就是服务延迟，即从进门到喝到第一口咖啡的时间。 在流处理中，我们用时间片（如毫秒）来测量延迟。根据应用的不同，我们可能关注平均延迟、最大延迟或特定百分位数的延迟。例如，平均延迟为 10 毫秒表示平均每条数据在 10 毫秒内处理完毕，而第 95 百分位延迟在 10 毫秒内处理完毕意味着 95% 的事件都在 10...
探究Apache Flink支持的三种流处理场景
Apache Flink 是一个集众多具有竞争力的特性于一身的流处理引擎，是开发和运行多种不同类型应用程序的绝佳选择。Flink 提供了流处理和批处理支持、复杂的状态管理、事件时间处理语义以及状态的精确一次一致性保证等功能。此外，Flink 可以在多种资源管理框架上部署，比如 YARN 和 Kubernetes，也可以作为独立集群部署在裸机硬件上。Flink 的高可用配置确保了系统没有单点故障。实际上，Flink 能够扩展到数千个内核和 TB 级的应用状态，提供高吞吐量和低延迟，并为世界上一些要求最苛刻的流处理应用提供支持。 本文将介绍 Flink...
不要浪费你的中年危机
我上个月刚满40岁，花了三周时间阅读《堂吉诃德》，因此中年危机一直在我的脑海中挥之不去。 “千万不要浪费你的中年危机。” 这是我在收听播客采访《威廉・布莱克与世界》（William Blake vs. The World）的作者约翰・希格斯（John Higgs）时听到的建议。(2022年我最喜欢的读物之一）。 希格斯说，他钦佩的艺术家都是像大卫・林奇（David Lynch）这样的人，“你不会觉得他们在这个世界上有什么明显的位置，但他们就是不顾一切地做自己的事情，于是一个位置就在他们周围建立起来了”。 他继续说道： “生态学中有一个概念叫‘生态位创造’（niche...
深入探索Gson的泛型序列化和反序列化能力
在 Java 开发领域，序列化和反序列化是常见的操作，用于将对象转换为字节流以便在网络传输或存储中使用。Gson 是 Google 提供的一个优秀的 Json 序列化和反序列化库，提供了强大的功能和灵活性。本文将重点介绍 Gson 在处理泛型类型时的序列化和反序列化能力。 Gson 的泛型支持Gson 通过使用 TypeToken 类来支持泛型。TypeToken 提供了一种表示泛型类型的方式。通过创建 TypeToken 的子类，我们可以捕获泛型的具体类型信息，从而实现更精确的序列化和反序列化操作。 泛型对象的序列化在进行泛型序列化时，我们需要构建一个 TypeToken 对象来表示特定的泛型类型。例如，对于 List<String> 类型，可以使用如下方式进行序列化： 1234Gson gson = new Gson();Type listType = new TypeToken<List<String>>(){}.getType();List<String> list = new...
培养你对数学的直觉
我们对一个新概念的首次接触，往往会形成我们心中对其的第一印象或直觉认知。而这一直觉，也会反过来影响我们在多大程度上喜欢或者认同这个概念。 以“猫”为例，我们可以给出不同角度的定义： 山顶洞人视角：一种毛茸茸的动物，具有尖爪、锋利牙齿、灵活尾巴与四条腿，心情愉悦时会发出咕噜声，生气时会发出威胁的嘶嘶声…… 进化论视角：作为猫科动物的一员，猫是哺乳类动物的一个物种，拥有某些共同遗传特征…… 现代基因视角：猫不过是拥有以下DNA序列的动物：ACATACATACATACAT…… (插图来源：Common...
使用Gson对嵌套类进行序列化和反序列化
本文将重点介绍如何使用 Gson 序列化嵌套类，包括内部类。 什么是嵌套类？在 Java 中，嵌套类是指在一个类的内部定义的另一个类。嵌套类可以分为两种类型：静态嵌套类（也称为静态内部类）和非静态嵌套类（也称为成员内部类）。静态嵌套类与外部类之间没有直接的引用关系，而非静态嵌套类则与外部类实例相关联。 Gson序列化嵌套类的基本用法Gson 可以很容易地序列化和反序列化静态嵌套类。 要使用 Gson 序列化嵌套类，我们首先需要确保 Gson 库已添加到项目中。可以通过 Maven、Gradle 或手动下载 jar 包的方式导入 Gson 库。 例如，如果使用 Maven，在 pom.xml 文件中添加以下依赖项： 123456<dependency> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId> <version>2.10.1</version> ...
使用Gson进行数组、集合和映射的序列化与反序列化
在开发过程中，我们经常需要将数据进行序列化和反序列化。序列化是将对象转换为可传输或可存储的格式，而反序列化则是将序列化后的数据重新还原成对象。针对数组、集合和映射这些常见的数据结构，Google 提供了一个强大而灵活的 Java 库——Gson。本文将介绍如何使用 Gson 进行数组、集合和映射的序列化与反序列化。 引入Gson库首先，我们需要在项目中引入 Gson 库。可以通过 Maven 或 Gradle 配置文件添加以下依赖项： Maven 123456789<dependencies> <!-- Gson: Java to JSON conversion --> <dependency> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId> <version>2.10.1</version> ...
深入了解Gson：Java对象的序列化和反序列化
本文将介绍一些使用 Gson 库进行对象序列化时需要注意的细节，帮助开发人员更好地理解和应用该库。 引入Gson库首先，需要确保项目中已经正确引入了 Gson 库。可以通过 Maven、Gradle 或手动下载 jar 包的方式导入 Gson 库。 例如，如果使用 Maven，在 pom.xml 文件中添加以下依赖项： 123456<dependency> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId> <version>2.10.1</version> <scope>compile</scope></dependency> 创建Gson对象在使用 Gson 库之前，需要创建一个 Gson 对象。可以直接使用默认的 Gson 构造函数创建一个 Gson 对象，也可以根据需要配置一些参数。 例如，如果希望将 JSON 字符串格式化输出，可以使用...
Hive表备份
在数据处理和分析的过程中，随着业务的发展和变化，我们可能需要对已有的 Hive 表进行调整、清理或修改表结构。为了确保操作的安全性，我们可以在进行这些操作之前先对 Hive 表进行备份。这样一来，即使在操作过程中发生了任何问题，我们也可以通过回退到备份数据来恢复之前的状态。 此外，在测试和开发环境中，我们经常需要使用真实的生产数据或者对数据进行一些实验性的操作。为了确保测试和开发工作不会对真实的生产数据造成影响，我们可以从 Hive 表中复制一份数据出来，创建一个安全的数据副本供测试和开发使用。从而可以在不影响真实生产数据的前提下进行各种实验和调试工作。 那么，如何快速备份或复制 Hive 表呢？本文将向大家介绍两种简单易行的复制 Hive 表的方法，以确保我们的数据始终处于安全可靠的状态。 方法一：使用 create table ... as ...直接使用 create table ... as ... 复制表数据、表字段。语法如下：123create table if not exists 表名as select * from...
LeetCode1：两数之和
难度：容易 题目链接：https://leetcode-cn.com/problems/two-sum/ 数据结构：数组，哈希表 题目描述给定一个整数数组 nums 和一个整数目标值 target，请你在该数组中找出和为目标值 target 的那两个整数，并返回它们的数组下标。 你可以假设每种输入只会对应一个答案。但是，数组中同一个元素在答案里不能重复出现。 你可以按任意顺序返回答案。 示例 1： 输入：nums = [2,7,11,15], target = 9输出：[0,1]解释：因为 nums[0] + nums[1] == 9 ，返回 [0, 1]。 示例 2： 输入：nums = [3,2,4], target = 6输出：[1,2] 示例 3： 输入：nums = [3,3], target = 6输出：[0,1] 约束： 2 <= nums.length <= 104 10^9 <= nums[i] <= 10^9 10^9 <= target <= 10^9 只会存在一个有效答案 进阶：你可以想出一个时间复杂度小于...
使用Gson库在Java中实现下划线与驼峰格式的转换
当我们处理 JSON 数据时，经常会遇到下划线格式与驼峰格式之间的转换。为了简化这一过程，我们可以使用 Gson 库进行数据的相互转换。在本篇博文中，我们将介绍如何使用 Gson 实现下划线与驼峰格式的转换。 Gson 是一个流行的 Java 库，用于将 JSON 数据与 Java 对象进行相互转换。它提供了灵活的配置选项，以满足各种需求，其中包括下划线与驼峰格式的转换。 添加Maven依赖首先，在 pom.xml 文件中配置 gson 依赖项： 12345<dependency> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId> <version>2.10.1</version></dependency> gson 版本根据实际情况进行选择，建议使用最新版本（见 Maven Central ）。 本文使用的是 2.10.1...
Java使用Gson库格式化输出JSON字符串
在本文中，我们将深入探讨如何在 Java 中格式化 JSON 数据以增强其可读性。 在处理大量的 JSON 对象时，理解和调试它们可能是一项艰巨的任务。因此，采用格式化输出 JSON 对象的方法变得至关重要。 为此，我们可以使用 Gson 库的功能。Gson 提供了便捷的方法来生成格式良好的 JSON 输出。 首先，添加 Gson Maven 依赖项： 12345<dependency> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId> <version>2.10.1</version></dependency> gson 版本根据实际情况进行选择，建议使用最新版本（见 Maven Central ）。 本文使用的是 2.10.1 版本（当前最新版本）。 为了格式化打印 JSON 字符串，我们将使用 GsonBuilder 的 setPrettyPrinting()...
HiveSQL内置函数——concat_ws
定义与使用函数 concat_ws() 将两个或多个表达式与分隔符添加在一起。 注：另请参阅 CONCAT() 函数。 语法11concat_ws(string SEP, string A, string B...) 参数值 参数 说明 SEP 必填。在每个表达式之间添加的分隔符。如果分隔符为 NULL，则返回 NULL。 A,B,等 必填。要连接的字符串。值为 NULL 的字符串将被跳过。 示例 1234select concat_ws('-', 'Johnson', 'Lin'), concat_ws('-', NULL, 'Lin'), concat_ws(NULL, 'Johnson', 'Lin') 以上代码的查询结果为 12345+-----------+---+----+|_c0 |_c1|_c2...