技术博客
开源技术 知识分享
HDFS NameNode 高可用实现原理
历史背景 在 Hadoop 1.0 时代，NameNode 存在单点问题（SPOF，single point of failure ），一旦挂掉，整个 HDFS 都不能访问，而依赖它的 MapRedu
hadoop fs,hadoop dfs及hdfs dfs区别
命令 使用范围 hadoop fs 使用范围最广，可以操作任何文件系统。如：local, HDFS、Local FS, HFTP FS, S3 FS等 hadoop dfs 只HDFS文件系统相关 h
Hadoop+HBase 集群搭建
1. 环境准备 说明：本次集群搭建使用系统版本Centos 7.5 ，软件版本 V3.1.1。 1.1 配置说明 本次集群搭建共三台机器，具体说明下: 主机名 IP 说明 hadoop01 10.0.
Python与机器学习简介
1. 基本概念 a. 数据挖掘 从海量数据找寻有用信息。从事该类工作的技术是BI（商业智能）。简单说，在Excel中分析数据，找寻有用信息，使用SQL筛选数据，从而指导企业工作，这就是数据挖掘。 b.
设置docker容器服务开启自启动
创建容器时没有添加参数 –restart=always ，导致的后果是：当 Docker 重启时，容器未能自动启动。 Docker update 添加或是修改启动命令： docker up
podman 下一代容器技术
Podman 主要由红帽发起和推动，是下一代的容器技术，包括如下三个模块：Podman，Skopeo和Buildah。 这三个工具都是符合OCI计划下的工具（github/containers）。主要
编写生产环境中最优的 Dockerfile
生产实践中一定优先使用 Dockerfile 的方式构建镜像。因为使用 Dockerfile 构建镜像可以带来很多好处： 易于版本化管理，Dockerfile 本身是一个文本文件，方便存放在代码仓库做
docker 之 Cgroups 资源限制
Cgroups Cgroups（全称：control groups）是 Linux 内核的一个功能，它可以实现限制进程或者进程组的资源（如 CPU、内存、磁盘 IO 等）。 在 2006 年，Goo
Docker 架构核心概念：镜像、容器、仓库
Docker 核心概念 镜像 镜像是一个只读的文件和文件夹组合。它包含了容器运行时所需要的所有基础文件和配置信息，是容器启动的基础。所以你想启动一个容器，那首先必须要有一个镜像。镜像是 Docker
Access denied; you need (at least one of) the SUPER privilege(s) for this operatio
数据库报错[Err] 1227 – Access denied; you need (at least one of) the SUPER privilege(s) for this op
ETCD单机常用命令
从Github上下载并解压安装包 wget https://github.com/coreos/etcd/releases/download/v3.4.14/etcd-v3.4.14-linux-am
centos7安装部署etcd集群
ETCD集群节点： 角色 系统 节点 master CentOS-7 192.168.10.5 node-1 CentOS-7 192.168.10.6 node-2 CentOS-7 192.168
MSSQL 2008 数据库备份
MSSQL 2008 数据库备份 一 创建备份设备： 1 在C 盘新建文件夹databasebackup,如下图 2 打开SQL server Mannagement Studio,展开服务器对
Ansible配置执行远程主机的ssh端口号
服务器的ssh端口号如将默认22 修改成 其他端口号时，如何配置？ 编辑 /etc/ansible/hosts [servers] 192.168.1.1 ansible_ssh_user=root
部署maven及Nexus私服
Maven是属于apache软件基金会下一个开源免费的项目，是跨平台的项目管理工具， Maven采用了一种被称之为Project Object Model (POM)概念来管理项目，所有的项目配置信息
清理Maven本地仓库.lastUpdated文件
使用maven下载项目依赖的jar包时，很容易因为各种原因(网速慢、断网)导致jar包下载失败，出现很多xxx.jar.lastUpdated的文件，无法正常启动项目，需要及时清理。 Windows
解决部署报错No main manifest attribute, in XXX.jar
将build中的入口改为如下即可解决： <plugin> <groupId>org.springframework.boot</groupId> <artif
windows下 maven 关于lastedupdate文件清理
这些文件的存在会导致无法更新的真正的jar。windows下清理脚本 rem 这里写你的仓库路径 set REPOSITORY_PATH=E:\\reposi rem 正在搜索… for /f \
ansible服务部署与使用
第1章 ssh+key实现基于密钥连接（ansible使用前提） 说明： ansible其功能实现基于SSH远程连接服务 使用ansible需要首先实现ssh密钥连接 1.1 部署ssh
kvm 虚拟化技术介绍
1.1 前言 1.1.1 什么是虚拟化？ 在计算机技术中，虚拟化（技术）或虚拟技术（英语：Virtualization）是一种资源管理技术，是将计算机的各种实体资源（CPU、内存、磁盘空间、网络适配器
VMware报错“该虚拟机似乎正在使用中”
升级VMware workstation 15后，原来的VM无法打开，提示：该虚拟机似乎正在使用中。如果该虚拟机未在使用，请按“获取所有权(T)”按钮获取它的所有权。否则，请按“取消
升级到VMware workstation 15 桥接模式ssh不能登陆
今天将本机的VMware Workstation升级到VMware workstation 15后，原来的CentOS 7虚拟机不能ssh登陆，新装的CentOS 8也是一样不能访问。
虚拟机 VMware Workstation Pro v15.5.2 及永久激活密钥
Windows平台最强虚拟机软件已经更新到 VMware Workstation Pro 15 版本。 VMware Workstation Pro 15 全面进行了改造重新制作了UI界面及LOGO图
shell脚本通过参数名传递参数值
常在写shell脚本都是用$1,$2…这种方式来接收参数，然而这种接收参数的方式不但容易忘记且不易于理解和维护。Linux常用的命令都可指定参数名和参数值，然而我们怎样才能给自己的shell脚本也采用
修改被编译后DLL文件
1 反编译工具ILSpy.exe 可以反编译DLL查看DLL文件内容 2：IL DASM反汇编程序可以把DLL生产IL文件。微软的工具ildasm.exe:这个是把DLL生成IL文件的一个软件，是微
未能加载文件或程序集“System.Web.Mvc, Version=4.0.0.0, Culture=neutral, PublicKeyToken=31bf3856ad364e35”
网站环境迁移到新环境报错如下; 原理在我本地运行正常，但部署到服务器上就出现了这问题。， 原因是引用的system.web.mvc文件和配置项配置的节点版本不一致导致的，所以把服务器上项目bin目录下
使用pm2管理nodejs
PM2 是一个 Node 进程管理工具，可以用来帮助我们更好的管理 Node 服务。PM2 具有以下几个特性： 动态监控文件变动，0秒热启动 对 CPU 进行负载均衡 监控 CPU、内存的使用状况 自
pm2进程管理工具使用总结
对于后台进程的管理，常用的工具是crontab，可用于两种场景：定时任务和常驻脚本。关于常驻脚本，今天介绍一款更好用的工具：pm2，基于nodejs开发的进程管理器，适用于后台常驻脚本管理，同时对no
python 连接管理作redis集群
一、连接redis集群 python的redis库是不支持集群操作的，推荐库：redis-py-cluster。 安装 pip3 install redis-py-cluster 连接redis集群
shell脚本通过参数名传递参数值
常在写shell脚本都是用$1,$2…这种方式来接收参数，然而这种接收参数的方式不但容易忘记且不易于理解和维护。Linux常用的命令都可指定参数名和参数值，然而我们怎样才能给自己的shell脚本也采用
修改被编译后DLL文件
1 反编译工具ILSpy.exe 可以反编译DLL查看DLL文件内容 2：IL DASM反汇编程序可以把DLL生产IL文件。微软的工具ildasm.exe:这个是把DLL生成IL文件的一个软件，是微
未能加载文件或程序集“System.Web.Mvc, Version=4.0.0.0, Culture=neutral, PublicKeyToken=31bf3856ad364e35”
网站环境迁移到新环境报错如下; 原理在我本地运行正常，但部署到服务器上就出现了这问题。， 原因是引用的system.web.mvc文件和配置项配置的节点版本不一致导致的，所以把服务器上项目bin目录下
使用pm2管理nodejs
PM2 是一个 Node 进程管理工具，可以用来帮助我们更好的管理 Node 服务。PM2 具有以下几个特性： 动态监控文件变动，0秒热启动 对 CPU 进行负载均衡 监控 CPU、内存的使用状况 自
pm2进程管理工具使用总结
对于后台进程的管理，常用的工具是crontab，可用于两种场景：定时任务和常驻脚本。关于常驻脚本，今天介绍一款更好用的工具：pm2，基于nodejs开发的进程管理器，适用于后台常驻脚本管理，同时对no
python 连接管理作redis集群
一、连接redis集群 python的redis库是不支持集群操作的，推荐库：redis-py-cluster。 安装 pip3 install redis-py-cluster 连接redis集群
shell脚本通过参数名传递参数值
常在写shell脚本都是用$1,$2…这种方式来接收参数，然而这种接收参数的方式不但容易忘记且不易于理解和维护。Linux常用的命令都可指定参数名和参数值，然而我们怎样才能给自己的shell脚本也采用
修改被编译后DLL文件
1 反编译工具ILSpy.exe 可以反编译DLL查看DLL文件内容 2：IL DASM反汇编程序可以把DLL生产IL文件。微软的工具ildasm.exe:这个是把DLL生成IL文件的一个软件，是微
未能加载文件或程序集“System.Web.Mvc, Version=4.0.0.0, Culture=neutral, PublicKeyToken=31bf3856ad364e35”
网站环境迁移到新环境报错如下; 原理在我本地运行正常，但部署到服务器上就出现了这问题。， 原因是引用的system.web.mvc文件和配置项配置的节点版本不一致导致的，所以把服务器上项目bin目录下
使用pm2管理nodejs
PM2 是一个 Node 进程管理工具，可以用来帮助我们更好的管理 Node 服务。PM2 具有以下几个特性： 动态监控文件变动，0秒热启动 对 CPU 进行负载均衡 监控 CPU、内存的使用状况 自
pm2进程管理工具使用总结
对于后台进程的管理，常用的工具是crontab，可用于两种场景：定时任务和常驻脚本。关于常驻脚本，今天介绍一款更好用的工具：pm2，基于nodejs开发的进程管理器，适用于后台常驻脚本管理，同时对no
python 连接管理作redis集群
一、连接redis集群 python的redis库是不支持集群操作的，推荐库：redis-py-cluster。 安装 pip3 install redis-py-cluster 连接redis集群