Kafka基础

简介 Kafka是一个分布式的,基于分区存储的,多副本提交的日志系统。其特点包括: 高吞吐 无缝扩展 消息持久化 基本概念 broker broker是Kafka集群的一个节点,负责接收producer发来的消息和响应consumer发来的消息请求。 topic和partition topic是Kafka组织消息的方式,可以认为是消息的类别。一个topic可以有多个partition来保存消息,消息在partition里是顺序存储的。这里注意,需要注意的是,Kafka保存

Linux Systemd笔记

背景 这是我的一篇我之前学习systemd的这个系列教程的笔记,在此记录下吧。 简介 和init和upstart类似的Linux服务管理程序 提供优秀框架以表示系统服务间的依赖关系 并行启动服务,并通过cgroup跟踪服务进程 支持对系统状态建立和恢复快照 支持crontab 使用 服务状态 因为启动过程太快,用户可能来不及看服务启动过程,故systemd跟踪进程的启动过程保留下来,以便后续查看。通过systemctl status能看到服务的状态以及返回的状态码。

etcd基础

简介 etcd是一个分布式kv存储,与我前面介绍的Consul有些类似,底层都是基于raft协议的,它的主要用途包括为应用提供集中的配置管理和服务发现。 安装 etcd是go语言开发的,所以安装成本非常低,一般我们用systemd来管理etcd,这里我们简单过下安装过程: curl -L https://github.com/coreos/etcd/releases/download/v2.2.5/etcd-v2.2.5-linux-amd64.tar.gz -o etcd

搭建私有pypi仓库

背景 为了对公司内部的Python库进行统一管理,但出于隐私考虑不能直接放到公共pypi服务器上,故考虑搭建私有pypi仓库。 服务端 安装 安装pypiserver pip install pypiserver passlib 安装supervisor apt-get install supervisor 配置 新建package存放目录 mkdir -p /opt/pypi/packages 创建用于上传package的密码 htpasswd -sc /

Consul基础

简介 服务发现,提供了DNS和HTTP两种接口 健康检查,可针对服务和节点两个级别检查 KV存储,提供HTTP接口 多数据中心支持 基础 概览 通过一个WAN的Gossip池来原生支持跨数据中心的状态同步 一个数据中心内部通过LAN Gossip来维持数据中心内部状态同步 一个数据中心内部通过Raft协议来维护在Server模式的agent之间的leader选举和同步数据 Client模式下的agent负责转发RPC请求给Server模式的agent 所有的agent

U盘安装CentOS7系统

需求 U盘安装 小规模 自动安装 工具 system-config-kickstart kickstart livecd-iso-to-disk 配置过程 将iso文件写入U盘sudo livecd-iso-to-disk --format --reset-mbr ./CentOS-6.4-x86_64-minimal.iso /dev/sdb 用system-config-kickstart创建ks文件,注意修改以下两点: harddrive --partiti

OpenLDAP构建统一认证之项目实战

背景 问题 登录服务器的账号分散在所有的机器上,这样就带来两个问题: 维护成本高,需要专门在playbook里定义用户权限 没有明确的权限划分 不便于和其他系统(如Google Apps)对接 需求 数据集中管理 根据用户组控制用户的登陆权限 控制用户的sudo权限,只有operation有sudo的权限 自动创建家目录 Web管理界面 原则 尽可能少的涉及组件,减少维护成本 尽可能的不入侵系统配置,便于恢复 配置 服务端 OpenLDAP安装配置 关于OpenL

VPN-PPTP客户端自动登录

安装 yum install pptp 配置 chap-secrets vim /etc/ppp/chap-secrets yottaa pptp password * peers vim /etc/ppp/peers/vpn-bos pty pptp vpn-bos.yottaa.com --nolaunchpppd name yottaa-1 remotename pptp require-mppe-128 file /etc/ppp/opti

Keepalived安装配置

简介 Keepalived是Linux的高可用软件,其主要是高可用协议的VRRP的开元实现,此外它还提供了方便管理LVS的接口。 安装 wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz && tar xzf keepalived-1.2.7.tar.gz && cd keepalived-1.2.7 && ./configure --prefix=/

VPN-基于LDAP认证的OpenVPN

安装 yum install -y openvpn openvpn-auth-ldap 配置 证书 关于生成证书请参考 VPN-基于OpenVPN构建 /etc/openvpn/server.conf port 1194 proto tcp dev tun ca /etc/openvpn/easy-rsa/keys/ca.crt cert /etc/openvpn/easy-rsa/keys/BJ.crt key /etc/openvpn/easy-rsa/keys/