小言_互联网的博客

storm初级教程 001 storm简介

254人阅读  评论(0)

topology: 一个拓扑是一个图的计算,类似于mapreduce

stream: 流  其实就是数据的抽象,storm将数据封装成元组结构tuple;所有机器上的某个topology任务的数据构成流

spout: 数据源 一般是队列消费端

bolt: 数据处理单元:负责计算,传输tuple,存储数据;在bolt可以新起线程

stream grouping 流分组:定义在blot中流应该如何分区发送【storm包含8个流分组接口:随机分组shuffle group,字段分组】

task:任务计算拓扑上每个spout,bolt都需要线程处理,task就是对这一抽象概念的囊括

worker:感觉worker这个单词更形象:工作进程,对应物理节点

 

 

spout可以集成的一些消息源‘

 

storm 有一个本地模式LocalCluster cluster = new LocalCluster();用来模拟storm集群从而方便开发测试

其优点如下:

    鲁棒性好

    可扩展:计算任务可动态调节计算能力

    可容错:nimbus,supervisor故障不会影响集群健康【会进行重启】得益于无状态化设计,数据挂载在外部

    保证数据处理:每一个tuple很难丢失

 

 

 

入门指南

    storm-contrib集成了各类消息源存储源组件


转载:https://blog.csdn.net/qq_35529969/article/details/102489086
查看评论
* 以上用户言论只代表其个人观点,不代表本网站的观点或立场