Elasticsearch索引添加字段
本文基于 7.1.0 版本的 Elasticsearch 演示如何给已有的索引添加新字段，并对比添加新字段前后的数据情况。（以下 API 调用均在 Kibana 开发工具上操作） 创建索引 user_info_v220101： 1234567891011121314151617PUT user_info_v220101 { "mappings": { "properties": { "user_id": { "type": "integer" }, "phone": { "type": "keyword" }, "create_time": { "type": "date", ...
【Redis】flushall命令——清空所有缓存数据
如何清空 Redis 集群的所有缓存数据？即删除所有数据库的所有 key。 使用 Redis 的 flushall 命令。 该命令适用 Redis 版本：≥ 1.0.0 执行结果总是返回：OK。 NOTE：生产环境谨慎操作！！！除非你很清楚自己正在做什么！ 具体步骤如下： 在终端命令行窗口，输入连接 Redis 指令： 1redis-cli -h 192.168.182.227 -p 1379 参数说明： -h：Redis Host（连接地址，如果连接地址为 127.0.0.1，可忽略该参数）； -p：Redis Port（端口号，如果端口号为 6379，可忽略该参数）； -a：Redis 连接密码（如有密码的话，需要上该参数，如 -a 1234567890k） 连接成功后，输入 flushall 指令即可清空 Redis 所有缓存数据： 1flushall 示例： 123$ redis-cli -h 192.168.182.227 -p 1379192.168.182.227:1379> flushallOK （END）
在Presto中实现Hive LATERAL VIEW EXPLODE
我是 Presto 新手，我们公司数据仓库中有一张表（表名：dwd_user_country），记录了用户到访过的国家与地区。这里为简化问题描述，将该表结构抽象为两个字段：user_id 和 countries，其中 countries 字段的值采用英文逗号连接用户到访过的国家与地区。 表数据如下表所示： user_id countries 26841018 中国,马来西亚,美国,瑞士,泰国,冰岛 现在，我需要从该表中统计每个国家或地区的到访人数，在 Hive 语法中，我可以使用 LATERAL VIEW EXPLODE 将该表的数据转成以下格式，再按 country 字段做 GROUP BY 统计。如果现在是使用 Presto 该怎么做呢？ user_id country 26841018 中国 26841018 马来西亚 26841018 美国 26841018 瑞士 26841018 泰国 26841018 冰岛 Hive 查询 首先使用 split 函数将 countries 字段分割成数组，再使用 l...
【Flink作业运行出错】beyond the 'PHYSICAL' memory limit. Killing container
问题描述Flink 版本：1.13.6 部署模式：Flink On YARN Application Mode 当 Flink 作业在 YARN 上运行了几天之后，容器会因为物理内存使用超出物理内存限制而被杀死，并报如下错误： 1234567892022-08-12 12:36:04,168 WARN akka.remote.ReliableDeliverySupervisor [] - Association with remote system [akka.tcp://flink@flink-node-06:42477] has failed, address is now gated for [50] ms. Reason: [Association failed with [akka.tcp://flink@flink-node-06:42477]] Caused by: [java.net.ConnectException: Connection refused: flink-node-06/10.10.17.255:424...
【Linux常用命令】tar压缩和解压文件或文件夹
压缩文件1tar -zcvf ljx.tar.gz ./linjiangxiong/ 该命令表示压缩当前文件夹下的文件夹 linjiangxiong，压缩后的文件名为 ljx.tar.gz 。 如果需要压缩多个文件，只需要在命令末尾追加需要压缩的文件即可，如： 1tar -zcvf ljx.tar.gz ./linjiangxiong/ ./ljx/ 解压文件1tar -xzvf ljx.tar.gz 该命令表示把后缀为 .tar.gz 的文件解压到当前文件夹下。 如果需要将文件解压缩到其他目录，则使用命令： 1tar -xzvf ljx.tar.gz -C /opt/ljx 该命令表示把后缀为 .tar.gz 的文件解压到 /opt/ljx 目录下。 （END）
【Linux常用命令】用户与用户组
添加用户添加用户命令： 1useradd 用户名 修改用户密码命令： 1passwd 用户名 e.g. 添加 lemon 用户： 1useradd lemon 为 lemon 用户设置密码： 1passwd lemon 根据提示输入新密码即可，提示/输出内容如下： 123456[root@node01 bigdata]# passwd lemonChanging password for user lemon.New password: BAD PASSWORD: The password is shorter than 8 charactersRetype new password: passwd: all authentication tokens updated successfully. 添加用户组命令： 1groupadd 组名 e.g. 添加 group2 组： 1groupadd group2 查询系统所有用户命令： 1cat /etc/passwd 查询系统所有组命令： 1cat /etc/group 查看用户登录历史记录命令： 1last 查看当前登录用户命令...
Java方法如何返回多个值
我们知道，Java 方法不支持有多个返回值。如果要在一个 Java 方法中返回多个处理结果，有以下几种方式： 使用数组数组元素要求类型相同，如果方法的处理结果类型不同，比如有数值类型、字符串类型等，可以使用像 List<Object> 来存放。此种方法最大的弊端是调用方需要知道列表中每一个 Object 的实际类型并做强制转换，不够优雅，维护、使用成本也比较高。实际开发中不推荐使用。 使用映射如 Map<String, Object>，使用 Object 类型存放结果，调用方需要知道每个 key 值，以及每个 key 值对应的 Object 实际类型。此种方法同样不够优雅，维护、使用成本也比较高。实际开发中不推荐使用。 自定义类将方法的多个处理结果封装成一个类进行返回，比如方法中需要返回的处理结果有整数类型、浮点数类型和字符串类型，我们可以封装一个这样的类来接收返回值： 1234567891011121314151617181920212223242526272829303132333435363738public class ProcessResult ...
HiveSQL内置函数——DATEDIFF函数
DATEDIFF(string enddate, string startdate)返回从 startdate 到 enddate 的天数。 如查询从 2022-08-01 到 2022-08-16 的天数： 12-- 该查询返回结果为 15SELECT DATEDIFF('2022-08-16','2022-08-01'); 使用示例一个常见的例子是计算用户未活跃时长（天），该指标的定义：用户最后一次登录时间距离某天（一般是昨日）的天数。 1234-- 参数dt：20220815SELECT user_id, DATEDIFF(FROM_UNIXTIME(UNIX_tIMESTAMP('${dt}','yyyyMMdd')), last_login_time) FROM mydw.dwd_user 输出示例： 123456+------------+-----------+| user_id | _c1 |+------------+-----...
在 Java 中如何使用 Gson 库序列化 NULL 字段
默认情况下，Gson 对象不会将值为 NULL 的字段序列化到 JSON 对象中。如果要序列化值为 NULL 的字段，可以在创建 Gson 对象之前，先调用 GsonBuilder 实例的 serializeNulls() 方法，再由 GsonBuilder 创建 Gson 实例，即可在序列化后的 JSON 中包含 NULL 值的字段。 具体示例代码如下： 12345678910111213141516171819202122232425import com.google.gson.Gson;import com.google.gson.GsonBuilder;import com.johnson.gson.model.User;public class NullFieldSerializeDemo { public static void main(String[] args) { GsonBuilder builder = new GsonBuilder(); builder.serializeNulls(); ...
HiveSQL内置函数——COALESCE函数
COALESCE(T v1, T v2, …)COALESCE，读作 /ˌkəʊəˈles/，该函数用于返回第一个不为 NULL 的 v，如果所有 v 都为 NULL，则返回 NULL。 举个例子： SELECT COALESCE(A, B, C) FROM TABLE_NAME 该 SQL 的返回值判断过程如下： 如果 A 不为 NULL，则返回 A，否则判断 B 是否为 NULL，若 B 不为 NULL，则返回 B，否则继续判断 C 是否为 NULL，若 C 不为 NULL，则返回 C，否则返回 NULL。 使用场景一个常用的场景是在一张表中的某个字段的默认值为 NULL，在查询的时候，如果该字段为 NULL，我们希望返回其他有意义的值而不是 NULL 值，这时就可以使用 COALESCE 函数。 例如，用户表（dwd_user）中的常驻城市字段（city），如果为 NULL 时，我们希望在返回给最终用户时可以显示“未知”，而不是 NULL 值，可以这么写： 1SELECT COALESCE(city, ‘未知’) FROM dwd_user 另一个常用场景是两张表做 FUL...
【elasticsearch】删除文档后如何释放存储大小
在使用 Elasticsearch 的过程中，经常会有删除某个索引历史数据的需求。比如存储飞机票信息的索引，通常只需要保留今日及今日之后的机票信息。为提升索引的效率和防止索引过大，同时尽量避免删除过程中影响线上环境稳定性，一般会选在业务低峰期的时候删除历史数据。 如以下 DSL 通过调用 _delete_by_query 方法删除 flight_v20220107 索引中日期（dt）在 20220729 ~ 20220802 之间的机票信息数据： 123456789101112131415POST /flight_v20220107/_delete_by_query?size=1000000&conflicts=proceed{ "query": { "bool": { "filter": { "range": { "dt": { "...
使用Gson将字符串转成JsonObject对象
概述当在 Java 项目中使用 Gson 库处理 JSON 时，我们可以将原始 JSON 字符串转换成更容易使用的类对象或数据结构。如将 JSON 字符串转换为 **Map<String, Object>** 对象，或者其他自定义类型的对象。但有些时候将 JSON 字符串转换为通用对象会更方便使用。 本文将演示如何使用 Gson 将 JSON 字符串转为 **JsonObject** 对象。 配置Maven依赖首先，在 pom.xml 文件中配置 gson 依赖项： 12345<dependency> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId> <version>2.9.1</version></dependency> gson 版本根据实际情况进行选择，建议使用最新版本（见 Maven Central ）。 本文使用的是 2.9.1 版本（当前最新版本）。 ...
如何查看 Ambari 版本
如何查看 Ambari 版本？ 打开 Ambari web 界面（默认端口：8080，如 http://ambari:8080/#/login ），成功登录之后，点击右上角用户名，在下拉框中点击 About，即可查看当前 Ambari 的版本。 具体如下图所示：
生产环境MySQL慢查询问题定位
本文根据实际项目经验，详细描述 MySQL 慢查询问题的发现及排查解决过程。在不影响读者阅读理解的前提下，对部分原始数据进行脱敏处理。 背景生产环境 MySQL 硬件配置：32C/64G/2T ESSD MySQL 版本：5.7.28 存储数据主要来源：主要是 Flink 实时计算的指标，少部分 Presto 准实时计算的指标，同时还有部分离线数仓模型也会每天同步一份至该 MySQL，用于加速客户端查询和提升并发查询能力。 发现问题之前收到运维的反馈，生产环境上用于存放 Flink 实时计算指标的 MySQL 有告警——每分钟慢查询数超过告警阈值，需及时跟进。当时通过 MySQL 监控面板查看到部分关键指标如下： 慢查询数 QPS TPS 网络流量（流入、流出） 表锁 慢日志明细部分 SQL（当时只拉取一小部分的慢 SQL，以下这些语句是 Flink SQL 写入 MySQL 的） 12345678910111213141516# Time: 2022-07-28T01:16:52.760142Z# User@Host: bigdata[bigdata] @ [...
maven编译打包时跳过测试代码
使用 Maven 构建 Java 项目时，通常有以下两种方式，可以在打包编译时跳过项目中的测试部分代码。 -Dmaven.test.skip=true在 Maven 的命令中，使用参数 -Dmaven.test.skip=true 来跳过单元测试代码： 1mvn clean package -Dmaven.test.skip=true -DskipTests在 Maven 的命令中，使用参数 -DskipTests 来跳过单元测试代码： 1mvn clean package -DskipTests 使用 -Dmaven.test.skip=true 还是 -DskipTests使用 -Dmaven.test.skip=true 参数进行打包编译时，Maven 会完全忽略单元测试代码，既不执行测试用例类，也不编译测试用例类。 而使用 -DskipTests 参数进行打包编译，Maven 会编译测试部分的类，生成相应的 class 文件到 target/test-classes 目录下，但不会执行测试类。 一般没有特殊要求的情况，测试类最好还是进行编译。因此推荐使用 -DskipTe...
【Linux常用命令】查看主机名
主机名（英语：hostname），也称计算机名，是指分配给计算机的一串唯一标识码，用于在网络上唯一识别该计算机。通常由字母、数字组成，也可以包含一些特殊字符，如英文连字符（-）、英文句点（.）和下划线（_）。典型的主机名最多包含 253 个字符。 在大多数 Linux 发行版中，主机名通常存储在 /etc/hostname 文件中。默认情况下，通过 ssh 命令在终端成功连接到目标服务器时，也可以看到目标服务器的主机名。如以下命令可以看到目标服务器的主机名为 kafka-eagle。 123456$ ssh hadoop@10.10.18.8Last login: Fri May 13 20:50:56 2022 from 10.10.18.215Welcome to Alibaba Cloud Elastic Compute Service ![hadoop@kafka-eagle ~]$ 介绍完主机名的概念，接下来，我们一起了解在 Linux 操作系统中其他各种查找主机名的命令。 使用 hostname 命令hostname 命令用于显示 Linux 系统的 DNS 名称和主...
Apache Flink 1.14.5 发版公告
本文翻译自 Apache Flink 社区博文——《Apache Flink 1.14.5 Release Announcement》。 Apache Flink 社区很荣幸地宣布 Flink 1.14 的另一个错误修复版本正式发布。 此版本包括 67 个错误和漏洞修复以及 Flink 1.14 的小改进。您可在下面找到所有错误修复和改进的列表（不包括对构建基础架构和构建稳定性的改进）。有关所有更改的完整列表，请参阅：JIRA 列表。 我们强烈建议所有用户升级到 Flink 1.14.5 版本。 原文：The Apache Flink Community is pleased to announce another bug fix release for Flink 1.14.This release includes 67 bugs, vulnerability fixes and minor improvements for Flink 1.14. Below you will find a list of all bugfixes and improvements (e...
Ubuntu 20.04 安装 MySQL 5.7
Ubuntu 20.04 对应的 MySQL 版本是 8.0，如果要安装 5.7 版本，有以下三种安装方式： 下载 MySQL 二进制压缩包，解压并设置相关的参数即可运行。 通过命令 apt install 进行安装，先下载 MySQL 5.7 对应的源，然后执行安装命令 apt install mysql-server=5.7.37-1ubuntu18.04 。 通过命令 dpkg -i 的方式安装，下载 MySQL 5.7 对应的 deb 文件，然后执行安装命令即可。 这里只说明第三种方式的安装过程，即通过命令 dpkg -i 的方式。具体步骤如下： 下载从 MySQL 官网 下载文件 mysql-server_5.7.37-1ubuntu18.04_amd64.deb-bundle.tar ： 1wget https://cdn.mysql.com/archives/mysql-5.7/mysql-server_5.7.37-1ubuntu18.04_amd64.deb-bundle.tar 解压将下载好的文件解压到相应的目录，这里是解压到目录 /mnt/d/opt/...
【Git常用命令】解决在本地还能看到已删除的Git远程分支
在使用 Git 进行代码管理时，通常会遇到某个开发分支已经在代码仓库中删除了，但在本地环境中还能查看到该被删除分支的情况。 为解决该问题，Git 提供了以下两个命令： 1git remote prune origin 或： 1git fetch origin --prune 例如，我们在 GitLab 代码仓库删除项目的开发分支 ljx ，但在本地环境中通过命令 git branch -a 还可以查看到该分支还存在的情况： 12345* master remotes/origin/HEAD -> origin/master remotes/origin/ljx remotes/origin/master remotes/origin/patch-2032 这时，我们可以通过命令 git remote prune origin 来解决： 12345➜ mydw git:(master) git remote prune originwarning: redirecting to https://git.linjiangxiong.com/bigdatabase/my...
【Git常用命令】删除本地/远程分支
删除本地分支命令： 1git branch -d 分支名称 注意：删除某个分支时，需先切换到另一个分支上。例如，删除分支 ljx 的操作如下： 1234567891011121314# 先切换至 master 分支git checkout master# 删除分支 ljxgit branch -d ljx# 查看分支git branch -a* master remotes/origin/HEAD -> origin/master remotes/origin/ljx remotes/origin/master remotes/origin/bugfix 删除远程分支命令： 1git push origin --delete 分支名称 如删除远程分支 ljx： 1git push origin --delete ljx （END）
