topology: 一个拓扑是一个图的计算,类似于mapreduce
stream: 流 其实就是数据的抽象,storm将数据封装成元组结构tuple;所有机器上的某个topology任务的数据构成流
spout: 数据源 一般是队列消费端
bolt: 数据处理单元:负责计算,传输tuple,存储数据;在bolt可以新起线程
stream grouping 流分组:定义在blot中流应该如何分区发送【storm包含8个流分组接口:随机分组shuffle group,字段分组】
task:任务计算拓扑上每个spout,bolt都需要线程处理,task就是对这一抽象概念的囊括
worker:感觉worker这个单词更形象:工作进程,对应物理节点
spout可以集成的一些消息源‘
storm 有一个本地模式LocalCluster cluster = new LocalCluster();用来模拟storm集群从而方便开发测试
其优点如下:
鲁棒性好
可扩展:计算任务可动态调节计算能力
可容错:nimbus,supervisor故障不会影响集群健康【会进行重启】得益于无状态化设计,数据挂载在外部
保证数据处理:每一个tuple很难丢失
入门指南
storm-contrib集成了各类消息源存储源组件
转载:https://blog.csdn.net/qq_35529969/article/details/102489086
查看评论