技术博客
开源技术 知识分享
管理 Hudi Pipelines
当Hudi出现问题时，运维人员可以通过以下方式了解Hudi数据集/管道进行故障排查。 通过Admin CLI进行管理 Graphite指标 Hudi应用程序的Spark UI Admin CLI管理
Hudi配置连接云平台存储系统
无论使用RDD/WriteClient API还是数据源，请参考以下云存储平台配置对云存储的访问。 S3文件系统 在此页面中，我们将说明如何将Hudi Spark作业存储到AWS S3中。 Hudi-
Hudi 数据集写入
介绍使用DeltaStreamer工具从外部源甚至其他Hudi数据集摄取新更改的方法， 以及通过使用Hudi数据源的upserts加快大型Spark作业的方法。 对于此类数据集，我们可
Kubernetes kubectl expose命令详解
kubectl expose 将资源暴露为新的Kubernetes Service。 指定deployment、service、replica set、replication controller或p
Kubernetes kubectl run 命令详解
kubectl run 创建并运行一个或多个容器镜像。 创建一个deployment 或job 来管理容器。 语法： $ run NAME –image=image [–env=\”key=val
Horizontal Pod Autoscaling
自动水平伸缩，是指运行在k8s上的应用负载(POD)，可以根据资源使用率进行自动扩容、缩容；我们知道应用的资源使用率通常都有高峰和低谷，所以k8s的HPA特性应运而生；它也是最能体现区别于传统运维的优
harbor 镜像仓库
harbor 镜像仓库 Habor是由VMWare中国团队开源的容器镜像仓库。事实上，Habor是在Docker Registry上进行了相应的企业级扩展，从而获得了更加广泛的应用，这些新的企业级特性
MySQL Binlog文件格式解析
MySQL通过Binlog进行主从数据的复制，Binlog是一种二进制格式的文件，理解Binlog二进制格式能够帮助我们进一步理解MySQL的主从复制原理。本文将对Binlog文件格式进行分析。 本文
MySQL Binlog 文件格式解析(GTID_LOG_EVENT)
MySQL Binlog 由一个个的event组成，event有不同的种类，在MySQL 5.6版本加入gtid功能之后，每个事务都会有唯一的一个gtid序号与其对应，这个gtid序号在Binlog中
MySQL Binlog 文件格式解析(TABLE_MAP_EVENT)
基于ROW格式的MySQL Binlog在记录DML语句的数据时，总会先写入一个table_map_event，这种类型的event用于记录表结构相关元数据信息，比如数据库名称，表名称，表的字段类型，
MySQL Binlog 文件格式解析(PREVIOUS_GTIDS_LOG_EVENT)
MySQL Binlog文件开头4字节固定为magic number，跟在magic number之后的第一个event通常是格式描述event（FORMAT_DESCRIPTION_EVENT），它
MySQL 8.0 索引跳跃扫描(Index Skip Scan)
MySQL 8.0.13 版本对于range查询，引入了索引跳跃扫描（Index Skip Scan）优化，支持不符合组合索引最左前缀原则条件下的SQL，依然能够使用组合索引，减少不必要的扫描。 先看
MySQL 8.0 新增的关键字(Keywords)和保留字(Reserved Words)
MySQL 关键字和保留字通常在SQL语句中有特殊的意义，比如SELECT，DELETE，BIGINT等等，如果要使用这些关键字或者保留字作为表名、字段名，需要使用引号来标识，否则将会报错。 mysq
Numpy进阶之排序小技巧
Numpy提供大量用数组操作的函数，其中不乏常见的排序函数。 这里讲一下numpy.sort、numpy.argsort、numpy.lexsort三种排序函数的用法。 1、如何对数组元素进行快速排序
Python内置函数
python中有许多内置函数，不像print那么广为人知，但它们却异常的强大，用好了可以大大提高代码效率。 这次来梳理下8个好用的python内置函数。 1、set() 当需要对一个列表进行去重操作的
python里读写excel等数据文件的几种常用方式
python处理数据文件第一步是要读取数据，文件类型主要包括文本文件（csv、txt等）、excel文件、数据库文件、api等。 下面整理下python有哪些方式可以读取数据文件。 1. python
用Python实现自动发送邮件
使用Python实现自动化邮件发送，可以让你摆脱繁琐的重复性业务，可以节省非常多的时间。 Python有两个内置库：smtplib和email，能够实现邮件功能，smtplib库负责发送邮件，emai
使用requests爬取拉勾网python职位数据
使用requests爬取拉勾网python职位数据 爬虫目的 本文是想通过爬取拉勾网Python相关岗位数据，简单梳理Requests和xpath的使用方法。 代码部分并没有做封装，数据请求也比较简单
Numpy进阶之排序小技巧
Numpy提供大量用数组操作的函数，其中不乏常见的排序函数。 这里讲一下numpy.sort、numpy.argsort、numpy.lexsort三种排序函数的用法。 1、如何对数组元素进行快速排序
Python内置函数
python中有许多内置函数，不像print那么广为人知，但它们却异常的强大，用好了可以大大提高代码效率。 这次来梳理下8个好用的python内置函数。 1、set() 当需要对一个列表进行去重操作的
python里读写excel等数据文件的几种常用方式
python处理数据文件第一步是要读取数据，文件类型主要包括文本文件（csv、txt等）、excel文件、数据库文件、api等。 下面整理下python有哪些方式可以读取数据文件。 1. python
用Python实现自动发送邮件
使用Python实现自动化邮件发送，可以让你摆脱繁琐的重复性业务，可以节省非常多的时间。 Python有两个内置库：smtplib和email，能够实现邮件功能，smtplib库负责发送邮件，emai
使用requests爬取拉勾网python职位数据
使用requests爬取拉勾网python职位数据 爬虫目的 本文是想通过爬取拉勾网Python相关岗位数据，简单梳理Requests和xpath的使用方法。 代码部分并没有做封装，数据请求也比较简单
Numpy进阶之排序小技巧
Numpy提供大量用数组操作的函数，其中不乏常见的排序函数。 这里讲一下numpy.sort、numpy.argsort、numpy.lexsort三种排序函数的用法。 1、如何对数组元素进行快速排序
Python内置函数
python中有许多内置函数，不像print那么广为人知，但它们却异常的强大，用好了可以大大提高代码效率。 这次来梳理下8个好用的python内置函数。 1、set() 当需要对一个列表进行去重操作的
python里读写excel等数据文件的几种常用方式
python处理数据文件第一步是要读取数据，文件类型主要包括文本文件（csv、txt等）、excel文件、数据库文件、api等。 下面整理下python有哪些方式可以读取数据文件。 1. python
用Python实现自动发送邮件
使用Python实现自动化邮件发送，可以让你摆脱繁琐的重复性业务，可以节省非常多的时间。 Python有两个内置库：smtplib和email，能够实现邮件功能，smtplib库负责发送邮件，emai
使用requests爬取拉勾网python职位数据
使用requests爬取拉勾网python职位数据 爬虫目的 本文是想通过爬取拉勾网Python相关岗位数据，简单梳理Requests和xpath的使用方法。 代码部分并没有做封装，数据请求也比较简单