设为首页 收藏本站

运维网

查看: 609|回复: 2

[经验分享] 【Twitter Storm系列】flume-ng+Kafka+Storm+HDFS 实时系统搭建 (限时收藏)

[复制链接]

尚未签到

发表于 2019-1-30 10:06:28 | 显示全部楼层 |阅读模式
  之前在弄这个的时候,跟群里的一些人讨论过,有的人说,直接用storm不就可以做实时处理了,用不着那么麻烦;其实不然,做软件开发的都知道模块化思想,这样设计的原因有两方面:
  一方面是可以模块化,功能划分更加清晰,从“数据采集--数据接入--流失计算--数据输出/存储”

  1).数据采集
  负责从各节点上实时采集数据,选用cloudera的flume来实现
  2).数据接入
  由于采集数据的速度和数据处理的速度不一定同步,因此添加一个消息中间件来作为缓冲,选用apache的kafka
  3).流式计算
  对采集到的数据进行实时分析,选用apache的storm
  4).数据输出
  对分析后的结果持久化,暂定用MySQL
  另一方面是模块化之后,加入当Storm挂掉了之后,数据采集和数据接入还是继续在跑着,数据不会丢失,storm起来之后可以继续进行流式计算;
  那么接下来我们来看下整体的架构图

  详细介绍各个组件及安装配置:
  操作系统:ubuntu
  Flume
  Flume是Cloudera提供的一个分布式、可靠、和高可用的海量日志采集、聚合和传输的日志收集系统,支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
  下图为flume典型的体系结构:
  Flume数据源以及输出方式:
  Flume提供了从console(控制台)、RPC(Thrift-RPC)、text(文件)、tail(UNIXtail)、syslog(syslog日志系统,支持TCP和UDP等2种模式),exec(命令执行)等数据源上收集数据的能力,在我们的系统中目前使用exec方式进行日志采集。
  Flume的数据接受方,可以是console(控制台)、text(文件)、dfs(HDFS文件)、RPC(Thrift-RPC)和syslogTCP(TCPsyslog日志系统)等。在我们系统中由kafka来接收。
  Flume下载及文档:
  http://flume.apache.org/
  Flume安装:
  [plain] view plain copy

  •   $tar zxvf apache-flume-1.4.0-bin.tar.gz/usr/local
  Flume启动命令:
  [plain] view plain copy

  •   $bin/flume-ng agent --conf conf --conf-file conf/flume-conf.properties --name producer -Dflume.root.logger=INFO,console
  
  Kafka
  kafka是一种高吞吐量的分布式发布订阅消息系统,她有如下特性:

  •   通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
  •   高吞吐量:即使是非常普通的硬件kafka也可以支持每秒数十万的消息。
  •   支持通过kafka服务器和消费机集群来分区消息。
  •   支持Hadoop并行数据加载。
  kafka的目的是提供一个发布订阅解决方案,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群机来提供实时的消费。
  kafka分布式订阅架构如下图:--取自Kafka官网

  罗宝兄弟文章上的架构图是这样的

  其实两者没有太大区别,官网的架构图只是把Kafka简洁的表示成一个Kafka Cluster,而罗宝兄弟的架构图就相对详细一些;
  Kafka版本:0.8.0
  Kafka下载及文档:http://kafka.apache.org/
  Kafka安装:
  [plain] view plain copy

  •   > tar xzf kafka-.tgz
  •   > cd kafka-
  •   > ./sbt update
  •   > ./sbt package
  •   > ./sbt assembly-package-dependency
  启动及测试命令:
  (1) start server
  [plain] view plain copy

  •   > bin/zookeeper-server-start.shconfig/zookeeper.properties
  •   > bin/kafka-server-start.shconfig/server.properties
  这里是官网上的教程,kafka本身有内置zookeeper,但是我自己在实际部署中是使用单独的zookeeper集群,所以第一行命令我就没执行,这里只是些出来给大家看下。
  配置独立的zookeeper集群需要配置server.properties文件,讲zookeeper.connect修改为独立集群的IP和端口
  [plain] view plain copy

  •   zookeeper.connect=nutch1:2181
  (2)Create a topic
  [plain] view plain copy

  •   > bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 1 --partition 1 --topic test
  •   > bin/kafka-list-topic.sh --zookeeperlocalhost:2181
  (3)Send some messages
  [plain] view plain copy

  •   > bin/kafka-console-producer.sh--broker-list localhost:9092 --topic test
  (4)Start a consumer
  [plain] view plain copy

  •   > bin/kafka-console-consumer.sh--zookeeper localhost:2181 --topic test --from-beginning
  kafka-console-producer.sh和kafka-console-cousumer.sh只是系统提供的命令行工具。这里启动是为了测试是否能正常生产消费;验证流程正确性
  在实际开发中还是要自行开发自己的生产者与消费者;
  kafka的安装也可以参考我之前写的文章:http://blog.csdn.net/weijonathan/article/details/18075967
  Storm
  Twitter将Storm正式开源了,这是一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统,BackType现在已在Twitter麾下。GitHub上的最新版本是Storm 0.5.2,基本是用Clojure写的。

  Storm的主要特点如下:

  •   简单的编程模型。类似于MapReduce降低了并行批处理复杂性,Storm降低了进行实时处理的复杂性。
  •   可以使用各种编程语言。你可以在Storm之上使用各种编程语言。默认支持Clojure、Java、Ruby和Python。要增加对其他语言的支持,只需实现一个简单的Storm通信协议即可。
  •   容错性。Storm会管理工作进程和节点的故障。
  •   水平扩展。计算是在多个线程、进程和服务器之间并行进行的。
  •   可靠的消息处理。Storm保证每个消息至少能得到一次完整处理。任务失败时,它会负责从消息源重试消息。
  •   快速。系统的设计保证了消息能得到快速的处理,使用MQ作为其底层消息队列。(0.9.0.1版本支持MQ和netty两种模式)
  •   本地模式。Storm有一个“本地模式”,可以在处理过程中完全模拟Storm集群。这让你可以快速进行开发和单元测试。
  由于篇幅问题,具体的安装步骤可以参考我之前写的文章:http://blog.csdn.net/weijonathan/article/details/17762477
  接下来重头戏开始拉!那就是框架之间的整合啦
  flume和kafka整合
  1.下载flume-kafka-plus:https://github.com/beyondj2ee/flumeng-kafka-plugin
  2.提取插件中的flume-conf.properties文件
  修改该文件:#source section
  producer.sources.s.type = exec
  producer.sources.s.command = tail -f -n+1 /mnt/hgfs/vmshare/test.log
  producer.sources.s.channels = c
  修改所有topic的值改为test
  将改后的配置文件放进flume/conf目录下
  在该项目中提取以下jar包放入环境中flume的lib下:

  注:这里的flumeng-kafka-plugin.jar这个包,后面在github项目中已经移动到package目录了。找不到的童鞋可以到package目录获取。
  完成上面的步骤之后,我们来测试下flume+kafka这个流程有没有走通;
  我们先启动flume,然后再启动kafka,启动步骤按之前的步骤执行;接下来我们使用kafka的kafka-console-consumer.sh脚本查看是否有flume有没有往Kafka传输数据;

  以上这个是我的test.log文件通过flume抓取传到kafka的数据;说明我们的flume和kafka流程走通了;
  大家还记得刚开始我们的流程图么,其中有一步是通过flume到kafka,还有一步是到hdfs的;而我们这边还没有提到如何存入kafka且同时存如hdfs;
  flume是支持数据同步复制,同步复制流程图如下,取自于flume官网,官网用户指南地址:http://flume.apache.org/FlumeUserGuide.html

  怎么设置同步复制呢,看下面的配置:
  [plain] view plain copy

  •   #2个channel和2个sink的配置文件  这里我们可以设置两个sink,一个是kafka的,一个是hdfs的;
  •   a1.sources = r1
  •   a1.sinks = k1 k2
  •   a1.channels = c1 c2
  具体配置大伙根据自己的需求去设置,这里就不具体举例了
  kafka和storm的整合
  1.下载kafka-storm0.8插件:https://github.com/wurstmeister/storm-kafka-0.8-plus
  2.使用maven package进行编译,得到storm-kafka-0.8-plus-0.3.0-SNAPSHOT.jar包 --有转载的童鞋注意下,这里的包名之前写错了,现在改正确了!不好意思!
  3.将该jar包及kafka_2.9.2-0.8.0-beta1.jar、metrics-core-2.2.0.jar、scala-library-2.9.2.jar(这三个jar包在kafka项目中能找到)
  备注:如果开发的项目需要其他jar,记得也要放进storm的Lib中比如用到了mysql就要添加mysql-connector-java-5.1.22-bin.jar到storm的lib下
  那么接下来我们把storm也重启下;
  完成以上步骤之后,我们还有一件事情要做,就是使用kafka-storm0.8插件,写一个自己的Storm程序;
  这里我给大伙附上一个我弄的storm程序,百度网盘分享地址:http://pan.baidu.com/s/1mgp0LLY
  先稍微看下程序的创建Topology代码

  数据操作主要在WordCounter类中,这里只是使用简单JDBC进行插入处理

  这里只需要输入一个参数作为Topology名称就可以了!我们这里使用本地模式,所以不输入参数,直接看流程是否走通;
  [plain] view plain copy

  •   storm-0.9.0.1/bin/storm jar storm-start-demo-0.0.1-SNAPSHOT.jar com.storm.topology.MyTopology
  先看下日志,这里打印出来了往数据库里面插入数据了

  然后我们查看下数据库;插入成功了!

  到这里我们的整个整合就完成了!
  但是这里还有一个问题,不知道大伙有没有发现。这个也是@晨色星空J2EE跟我说的,其实我也应该想到的;
  由于我们使用storm进行分布式流式计算,那么分布式最需要注意的是数据一致性以及避免脏数据的产生;所以我提供的测试项目只能用于测试,正式开发不能这样处理;
  @晨色星空J2EE给的建议是建立一个zookeeper的分布式全局锁,保证数据一致性,避免脏数据录入!
  zookeeper客户端框架大伙可以使用Netflix Curator来完成,由于这块我还没去看,所以只能写到这里了!


运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@yunvn.com 网址:www.iyunv.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@yunvn.com,QQ:1061981298 本贴地址:https://www.iyunv.com/thread-669474-1-1.html 上篇帖子: 【Twitter Storm系列】flume-ng+Kafka+Storm+HDFS 实时系统搭建 (限时收藏) 下篇帖子: Flume NG 学习笔记(七)Sink Processors(故障转移与负载均衡)测试
点击关注更多内容

累计签到:25 天
连续签到:1 天
发表于 2019-2-7 10:06:42 | 显示全部楼层
66666666666666666

运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@yunvn.com 网址:www.iyunv.com

回复 支持 反对

使用道具 举报

累计签到:281 天
连续签到:72 天
发表于 2019-2-28 20:51:31 | 显示全部楼层
感谢楼主的分享!

运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@yunvn.com 网址:www.iyunv.com

回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册  

本版积分规则  允许回帖邮件提醒楼主

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服 E-mail:kefu@yunvn.com

本站由青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

京ICP备14039699号-1 Copyright © 2012-2020

使用手机软件扫描微信二维码

关注我们可获取更多热点资讯

Good good study day day up


客服E-mail:kefu@yunvn.com 在线客服QQ:点击这里给我发消息


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud bjyun

快速回复 返回顶部 返回列表