技术博客
开源技术 知识分享
Kafka基本概念与原理
Kafka介绍 Apache Kafka由著名职业社交公司LinkedIn开发，最初是被设计用来解决LinkedIn公司内部海量日志传输等问题。Kafka使用Scala语言编写，于2011年开源并进入
Kubeflow基于K8S的机器学习
什么是Kubeflow Kubeflow是Kubernetes的机器学习工具包。Kubeflow是运行在K8S之上的一套技术栈，这套技术栈包含了很多组件，组件之间的关系比较松散，我们可以配合起来用，也
Ambari安装HUE
Hue（Hadoop User Experience）是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Py
Hudi、Kudu和Delta Lake对比
Hudi Hudi是Hadoop Updates and Incrementals的缩写，用于管理HDFS上的大型分析数据集存储，主要目的是高效的减少入库延时。Hudi是一个开源Spark三方库，支持
Hudi与kudu、hive、Hbase对比
Apache Hudi填补了在DFS上处理数据的巨大空白，并可以和这些技术很好地共存。然而， 通过将Hudi与一些相关系统进行对比，来了解Hudi如何适应当前的大数据生态系统，并知晓这些系统在设计中做
使用 Persistent Volumes 部署 WordPress 和 MySQL
PersistentVolume（PV）是一块集群里由管理员手动提供，或 kubernetes 通过 StorageClass 动态创建的存储。 PersistentVolumeClaim（PVC）是
管理巨页（HugePages）
管理巨页（HugePages） 作为 GA 特性，Kubernetes 支持在 Pod 应用中使用预先分配的巨页。本文描述了用户如何使用巨页，以及当前的限制。 准备开始 为了使节点
kubernetes 调度 GPUs
调度 GPUs Kubernetes 支持对节点上的 AMD 和 NVIDA GPU 进行管理，目前处于实验状态。对 NVIDIA GPU 的支持在 v1.6 中加入，已经经历了多次不向后兼容的迭代。
Kubernetes NetworkPolicy
使用 Kubernetes 的 NetworkPolicy API 声明网络策略去管理 Pod 之间的通信。 创建服务并进行暴露 创建一个nginx deployment 并且通过服务将其
Kubernetes kubectl autoscale 命令详解
kubectl autoscale 使用 autoscaler 自动设置在kubernetes集群中运行的pod数量（水平自动伸缩）。 指定Deployment、ReplicaSet或Replicat
Kubernetes kubectl annotate 命令详解
kubectl annotate 更新一个或多个资源的Annotations信息。 Annotations由key/value组成。 Annotations的目的是存储辅助数据，特别是通过工具和系统扩
MySQL Bug insert into on duplicate key update 语法更新 text blob 大字段导致 MySQL crash
MySQL 做的时间长了，就有可能多次遇到相同的 Bug，这里记录一下，以便下次再遇到，能够参考。 1. 背景 业务执行 SQL 导致 MySQL 进程 Crash，做故障切换后，新的主库又 Cras
MySQL bug replace into 语句导致主从切换后主键冲突
一、背景 生产环境遇到一个 MySQL 写入报错的问题，业务写入数据时报主键冲突。经过调查，这套 MySQL 集群版本为 Percona 5.7.19，在报主键冲突前，做过主从切换，报主键冲突的SQL
MySQL 5.7 Bug slave_compressed_protocol 与半同步复制同时开启，导致主库写入卡住
MySQL 5.7 同时开启半同步复制和复制压缩协议slave_compressed_protocol=ON，会触发MySQL Bug，导致主库事务提交卡住。 一、环境配置： MySQL 5.7.19
MySQL5.7安装插件导致主库hang住死锁无响应
一、背景 MySQL 1主2从，半同步复制，主库有较高的写入量，此时在主库重复安装半同步插件，可能导致主库hang住，无响应，只能通过重启数据库来恢复。 二、故障复现 环境： MySQL版本：Perc
MySQL 5.7 Bug Unknown type '14 in column 0 of 1 in binary-encoded result set
一、问题背景 环境： MySQL：Percona Server for MySQL 5.7.19 JDBC：mysql connector-J 5.1.45 Java代码通过JDBC执行SQL报错 如
MySQL 5.7&8.0 Bug 组提交参数设置不当导致事务提交hung住
MySQL 5.7引入了组提交功能，组提交的两个参数binlog_group_commit_sync_delay和binlog_group_commit_sync_no_delay_count，如果设
快速为 Python 字典设置新的值
假设有这样一个字典对象： dict = {\’evaporation\’: {\’释义\’: \’蒸发\’, \’词性\’: \’n\’}, \’carpenter\’: {\’释义\’: \’木匠\
Python 的转义字符
那些无法直接放在字符串中的字符，就需要转义。 支持以下转义字符： 转义字符 所表示的实际字符 \\\’ 单引号 \\\” 双引号 \\t 制表符 \\n 换行符 \\\\ 反斜杠 制表符也叫制表位，它
使用 Python 遍历目录树
使用 Python 遍历目录树 假设有这样一个任务，希望对某个文件夹（包括所有子文件夹与文件）中的所有文件进行处理。这就需要遍历整理目录树， 处理遇到的每个文件。 import os \’\’\’ 遍
使用 Python 创建、读取或解压 ZIP 文件
带有 .zip 扩展名的文件，是一个包含许多文件或文件夹的压缩包。因为压缩之后，不仅会减少一个文件的大小，还可以把需要传输的文件数降到最低（1 个），这样很适合网络传输。压缩包也称为归档包。 利用 z
在 Python 中抛出异常以及相关应用场景
当 Python 试图执行无效代码时，就会抛出异常。 我们也可以使用 raise 语句抛出异常。在代码中， raise 语句包含以下部分： raise 关键字； 调用 Exception 函数，同时传
Python正则表达式
正则表达式相关知识 在编写处理字符串的程序或网页时，经常会有查找符合某些复杂规则的字符串的需要，正则表达式就是用于描述这些规则的工具。 换句话说正则表达式是一种工具，它定义了字符串的匹配模式（如何检查
快速为 Python 字典设置新的值
假设有这样一个字典对象： dict = {\’evaporation\’: {\’释义\’: \’蒸发\’, \’词性\’: \’n\’}, \’carpenter\’: {\’释义\’: \’木匠\
Python 的转义字符
那些无法直接放在字符串中的字符，就需要转义。 支持以下转义字符： 转义字符 所表示的实际字符 \\\’ 单引号 \\\” 双引号 \\t 制表符 \\n 换行符 \\\\ 反斜杠 制表符也叫制表位，它
使用 Python 遍历目录树
使用 Python 遍历目录树 假设有这样一个任务，希望对某个文件夹（包括所有子文件夹与文件）中的所有文件进行处理。这就需要遍历整理目录树， 处理遇到的每个文件。 import os \’\’\’ 遍
使用 Python 创建、读取或解压 ZIP 文件
带有 .zip 扩展名的文件，是一个包含许多文件或文件夹的压缩包。因为压缩之后，不仅会减少一个文件的大小，还可以把需要传输的文件数降到最低（1 个），这样很适合网络传输。压缩包也称为归档包。 利用 z
在 Python 中抛出异常以及相关应用场景
当 Python 试图执行无效代码时，就会抛出异常。 我们也可以使用 raise 语句抛出异常。在代码中， raise 语句包含以下部分： raise 关键字； 调用 Exception 函数，同时传
Python正则表达式
正则表达式相关知识 在编写处理字符串的程序或网页时，经常会有查找符合某些复杂规则的字符串的需要，正则表达式就是用于描述这些规则的工具。 换句话说正则表达式是一种工具，它定义了字符串的匹配模式（如何检查
快速为 Python 字典设置新的值
假设有这样一个字典对象： dict = {\’evaporation\’: {\’释义\’: \’蒸发\’, \’词性\’: \’n\’}, \’carpenter\’: {\’释义\’: \’木匠\
Python 的转义字符
那些无法直接放在字符串中的字符，就需要转义。 支持以下转义字符： 转义字符 所表示的实际字符 \\\’ 单引号 \\\” 双引号 \\t 制表符 \\n 换行符 \\\\ 反斜杠 制表符也叫制表位，它
使用 Python 遍历目录树
使用 Python 遍历目录树 假设有这样一个任务，希望对某个文件夹（包括所有子文件夹与文件）中的所有文件进行处理。这就需要遍历整理目录树， 处理遇到的每个文件。 import os \’\’\’ 遍
使用 Python 创建、读取或解压 ZIP 文件
带有 .zip 扩展名的文件，是一个包含许多文件或文件夹的压缩包。因为压缩之后，不仅会减少一个文件的大小，还可以把需要传输的文件数降到最低（1 个），这样很适合网络传输。压缩包也称为归档包。 利用 z
在 Python 中抛出异常以及相关应用场景
当 Python 试图执行无效代码时，就会抛出异常。 我们也可以使用 raise 语句抛出异常。在代码中， raise 语句包含以下部分： raise 关键字； 调用 Exception 函数，同时传
Python正则表达式
正则表达式相关知识 在编写处理字符串的程序或网页时，经常会有查找符合某些复杂规则的字符串的需要，正则表达式就是用于描述这些规则的工具。 换句话说正则表达式是一种工具，它定义了字符串的匹配模式（如何检查