前言
随着大数据技术的进步,各种计算框架的涌现,数据仓库相关技术难题已经从离线数仓逐渐过渡到实时数仓,越来越多的企业对数据的实时性提出了严格的要求,如何满足企业的低延时的数据需求,如何看待批量处理和实时处理的关系,实时数仓应该如何分级,各家可能都有自己的理解,本文主要介绍网易的实时计算平台的建设实践以及网易对于实时数仓方面的一些规划及展望,希望能够起到抛砖引玉的作用。
01实时计算平台实践
1. 网易实时计算平台:Sloth
网易的实时计算平台Sloth译成中文是树懒的意思,继承了网易喜欢用动物系命名大数据组件的风格,如果你看过《疯狂动物城》,一定会对剧中的flash印象深刻。Sloth平台的建设始于2017年12月份,至今已有3年的时间,期间平台的弹性计算单元(ECU)规模一直呈现指数级增长,目前ECU已经突破50000个,运行的CPU数量已经达到15110核,内存超过了34T。
2. 平台架构
转载:https://blog.csdn.net/wenyusuran/article/details/108384096
查看评论