1、大数据：
主要用来解决海量数据的存储和海量数据的分析计算问题。
2、大数据的特点：
- 大量（Volume）：一些大企业的数据量已经接近EB量级。
- 高速（Velocity）: 随着数据量的增大，处理数据的效率变得尤为重要。
- 多样（Variety）: 除了以数据库/文本为主的结构化数据，非结构化数据也越来越多，包括日志、音频、视频、图片、地理位置信息等。
- 低价值密度（Value）: 在大数据背景下，如何快速对有价值的数据进行提纯成为亟待解决的问题。
3、大数据应用场景：
- 零售：分析用户消费习惯，为用户购买商品提供方便，从而提升商品销量。
- 广告推荐： 给用户推送可能喜欢的商品。
- 金融：多维度体现用户特征，帮助金融机构推荐优质客户，防范欺诈风险。
4、大数据部门组织架构：
平台组：
- Hadoop、Flume、Kafka、HBase、Spark等框架平台搭建
- 集群性能监控
- 集群性能调优
数据仓库组：
- ETL工程师（数据清洗）
- 数据分析、数据仓库建模
实时组： 实时指标分析，性能调优
数据挖掘组：
- 算法工程师
- 推荐系统工程师
- 用户画像工程师
报表开发组：
- JavaEE工程师
- 前端工程师
转载：https://blog.csdn.net/glpghz/article/details/128523932
查看评论