Centos 6.9 安装CDH 5.14教程

1.前置准备上篇文章我讲了安装CDH的一些前置准备,可以参考《CDH安装前置基础准备条件》一文,这里就不再多说。到此已完成:集群服务器配置,包括安装操作系统、关闭防火墙、同步服务器时钟等;外部数据库安装CDH和CM版本均为5.14且已配置本地yum源2.Cloudera Manager安装2.1.安装Cloudera Manager Server1.yum安装Cloudera Manager Server1yum -y install cloudera-manager-ser

CDH安装前置基础准备条件

CDH安装前置基础准备条件1.基础环境1.1.节点规模测试环境,最小规模,最少4台服务器。一台做管理节点Cloudera Manager和NameNode等,另外三台用作worker,DATANODE节点,这种最小规模一般仅用于开发和测试。如果是生产环境,最少6台,3台管理节点包括1个Cloudera Manager,2个NameNode做高可用,3个工作节点。常见的较小规模的生产系统一般为10-20台。###1.2.操作系统CDH支持大部分主流的64位操作系统,我这里会以c

记一次数据恢复经历

有将近一周没有写文章了,经历了一场所有IT从业者的梦魇——数据丢失。一块1T的移动硬盘中,约500G的分区数据无故消失,想必挺多人都遇上过这种事,无奈,尽快尝试恢复,能恢复多少是多少了。分区格式由于此块移动硬盘经常要在windows和mac平台来回切换使用,在不纠结单文件4GB的限制的情况下,当时使用的FAT32格式。还好此类格式和NTFS格式较为常见,恢复起来也较为容易。这里要说一下:FAT32格式磁盘可在windows和mac平台读写,但有单个文件4GB限制;NTFS完美

初识consul

初识consulConsul是什么?Consul是HashiCorp公司推出的开源工具,用于实现分布式系统的服务发现与配置。Consul是分布式的、高可用的、 可横向扩展的。它具备以下特性:服务发现 Consul的客户端可提供一个服务,比如 api 或者mysql,另外一些客户端可使用Consul去发现一个指定服务的提供者。通过DNS或者HTTP接口可以很容易的找到他所依赖的服务。健康检查 Consul客户端可提供任意数量的健康检查,指定一个服务(比如:webserver是否

【redis从入门到上线(3)】- redis高可用之sentinel

前言本期原本计划是写些redis高可用架构选型,分析,及实战,发现篇幅过长,所以拆开来写了。这期先讲一些官方提供的高可用功能,主从,sentinel,以及redis cluster。Redis-ReplicationRedis 支持简单且易用的主从复制(master-slave replication)功能, 该功能可以让从服务器(slave server)成为主服务器(master server)的精确复制品。以下是关于 Redis 复制功能的几个重要方面:Redis 使用

elasticsearch搜索及相关插件

ES选型elasticsearch-2.3.4相关组件:elasticsearch-jdbc-2.3.4.0-distkibana-4.5.4-linux-x64.tarelasticsearch-analysis-ik-1.9.4elasticsearch-analysis-pinyin-1.7.4_bigdesk_head以ES2.3.4为基准,其他组件已为测试后最新可用版本,高于以上版本则不兼容。ES特性SuggestionDiscoverySuggestionDisc

【redis从入门到上线(4)】- redis高可用架构横向对比分析

redis架构分析上篇我们讲解完 Redis Sentinel 原理之后,接下来讲解常用的 Redis 高可用架构。Redis Sentinel 集群 + 内网 DNS + 自定义脚本Redis Sentinel 集群 + VIP + 自定义脚本封装客户端直连 Redis Sentinel 端口JedisSentinelPool,适合 JavaPHP 基于 phpredis 自行封装Redis Sentinel 集群 + Keepalived/HaproxyRedis M/S

【redis从入门到上线(2)】- redis配置要点

这次我们讲讲redis的一些配置要点,包括日志,持久化,主备,数据压缩,内存分配等,以及一些坑,简单的配置就不说了,可以去看官方文档。基本配置1daemonize yes默认情况下,Redis不是在后台运行的,最好在后台运行,把该项的值更改为yes,否则运行时会将运行日志输出到当前终端。1pidfile /var/run/redis.pid当redis在后台运行的时候,Redis默认会把pid文件放在/var/run/redis.pid,你可以配置到其他地址。当运行多个red