集群三部曲(一):完美的Zookeeper集群搭建

今天搭建Zookeeper集群时,遇到了一些问题,好头疼的说,不过,也通过自己动手实践理解了许多,总的来说,实践出真知,当真不错。下面说下集群的搭建吧,希望能够帮助大家。 一、环境:虚拟机CentOs7系统,完整的环境,请确认已安装JDK,Zookeeper,可通过克隆已配置好的虚拟机环境,如下: 具体的克隆步骤自行百度,很简单。注意集群部署的节点至少为3个,更多时为奇数个。此次开启3个节点进行集群部署。 二、网络配置:默认的NAT连接,可保证虚拟机之间

简单的Spark+Mysql整合开发

今天简单说下Spark和Mysql的整合开发,首先要知道:在Spark中提供了一个JdbcRDD类,该RDD就是读取JDBC中的数据并转换成RDD,之后我们就可以对该RDD进行各种的操作,该类的构造函数如下: JdbcRDD[T: ClassTag]( sc: SparkContext, getConnection: () => Connection, sql: String, lowerBound: Long, upperBo

CentOS 7环境下Kafka消息的发布-订阅

这段时间一直在学习大数据相关的知识,从Spark,Spark Streaming,Scala到Kafka等等,涉及到的知识面很多,总体看下来,觉得大数据还是很好玩的,在现在及以后的方方面面都很适用。下面说下Kafka消息的发布-订阅。 (一)基本环境准备 本人在虚拟机下安装了CentOs7,这里自行略过,必备的环境jdk,zookeeper,kafka (二)环境搭建(若不是root登录,则以下操作需加上sudo) 1、JDK安装及环境配置(最好jdk

Python学习总结(四):面向对象编程,转换思维

从这节开始,我们将要接触编程思想——面向对象编程,很重要!!!学过C或者Java都知道,不管是面向过程还是面向对象,想要彻底掌握,必须理解这种程序设计思想,这样才能熟练的编程,而不是盲目的死记硬背,重要的是编程思想,其他的都是思想演变而来,正所谓:知其然知其所以然。下面来说画下重点: (1)类和实例 类(Class)是抽象出来的模板,实例(Instance)是根据类创建出来的具体对象。打个比方:汽车是类,而奥迪就是实例,是汽车的一个具体对象,它包含汽车的所有特征,不

Python 学习总结(三):巧用各类模块,方便维护

这节的内容主要讲下模块的使用,很好很强大,有木有。在开发过程中,随着程序代码越写越多,在一个文件里代码就会越来越长,越来越不容易维护。为了编写可维护的代码,我们把很多函数分组,分别放到不同的文件里,这样,每个文件包含的代码就相对较少,很多编程语言都采用这种组织代码的方式。下面就来认识一下关于模块: (1)模块的概念 在Python中,一个.py文件就称之为一个模块(Module)。使用模块可以避免函数名和变量名冲突。相同名字的函数和变量完全可以分别存在不同的模块中,因此

Python 学习总结(二):理解函数式编程,丰富开发

回顾上一节,我们已经将python的基础知识了解掌握,现在可以开始进一步的学习了。函数,无论在Java、C还是其他语言,都不可避免,这也从侧面反映了函数的重要性。所以,也就产生了函数式编程这一概念,到底什么是函数式编程?下面让我们一步一步来揭开它: (1)函数是什么? 说起函数,相信大家一定不会陌生,其实从很早就已经接触了,像数学课堂上计算数列的和:1+2+3+4+5+...+10,函数就是最基本的一种代码抽象的方式,以便更加快速的计算和处理。 (2)调用函数和

Python 学习总结(一):掌握基础知识,查缺补漏

经过一周多的学习,对python语言已经有了基本的了解和认识,但仅仅将知识学习一遍是不够的,所以我又从头看了一遍,仔细回味,发现自己对其中知识点的了解的不是很详尽,没有理解就无法开发,唯一的解决办法就是吃透它。当然,作为一个初学者,所谓的吃透不一定是完全的掌握,而是知道它的意思和用法,能够初步简单的运用,比如在一堆代码中,能够知道其意思,在代码中的作用等。下面就让我来总结下: (1)python的安装和界面 本人使用的是Windows64位系统,所以安装起来很简

数据迁移:vlookup和mysql定时执行

无论在哪个项目中,数据永远是重要的,不可忽视的,但也是闹心的。何谓之闹心?且听我慢慢道来。 数据库的更迭现在变得很是频繁,从以前的关系型数据库到现在的非关系型数据库,从以前单一的使用到现在多个的搭配,可以看到,数据如果想要进行迁移,将会困难重重,麻烦不断,首先就要面对数据库的差异,其次是表字段的不同,最后还有主键ID的生成问题等等。所以,一套简单实用的方法在这个时候就很必要了,不但能大大的减少工作量,还能保证数据的完整性,何乐而不为呢?下面就来一一解读: 一、ex

新年伊始,我的年终微总结

一年的时光,总是这么不经意的溜走了,白驹过隙。回首一年前,对比今夕,是否有了不一样的地方?还记得当初的豪言壮语吗?有多少已经实现?又有多少已经被遗忘?光阴一去不复返,新的一年即将展望新的开始,你准备好了吗? 人生不如意事十之八九,我却对自己说:没有什么事是一包辣条不能解决的,如果不行,那就两包。是的,工作中、生活中总会遇到这样或那样的问题,不能自怨自艾,这只会徒增烦恼,行动方能见真知。无所谓成功,无所谓失败,这些都是财富,属于你自己的宝贵财富。每个人选择的路不一样,到达

Spring Cloud Bus + RabbitMq 自动刷新

最近两天在鼓捣Spring Cloud Bus消息总线的刷新机制问题,探索的路程总是坎坷的,一些坑是逃不掉的,总算将其大概了解和配置成功了一番,总体来说还是不错的,下面和大家分享一下吧。 Spring cloud bus通过轻量消息代理连接各个分布的节点,用在广播状态的变化(例如配置变化)或者其他的消息指令,本质是利用了MQ的广播机制在分布式的系统中传播消息,目前常用的有Kafka和RabbitMQ。下面说下使用bus后的两种架构,来看看两者之间的不同: (1)利用消