前言：感觉大家对面试题比较感兴趣，之前发布的Python基础面试题阅读量都很高，后期会持续更新面试系列，以及收集一些大厂的面试题，希望能帮助到大家，同时本文比较长，可以关注之后收藏慢慢看，如果大家比较喜欢，大数据面试后续会持续更新，如果需要其他方向的面试题也可以评论或私信告诉我，记得三连呦。 大数据面试100题 数据采集面试题 Flume Flume 使用场景 Flume 丢包问题 Flume 与……
文章目录 处理器Connection连接 一、查看队列中的FlowFile 二、查看FlowFile自定义属性值……
文章目录 实时同步MySQL数据到Hive 一、开启MySQL的binlog日志 1、登录mysql查看MySQL是否开启binlog日志 2 、开启mysql binlog日志 3、重启mysql 服务，重新查看binlog日志情况 二、配置“CaptureChangeMySQL”处理器 1、创建“CaptureChangeMySQL”处理器 2、配置“DistributeMapCacheSer……
前言 视图这个概念大家并不陌生，在mysql中，视图（view）是一种虚拟存在的表，是一个逻辑表，本身并不包含数据。作为一个select语句保存在数据字典中的。通过视图，可以展现基表(用来创建视图的表)的部分数据，视图数据来自定义视图的查询中使用的表，使用视图动态生成。 clickhouse 物化视图 ClickHouse 的物化视图是一种查询结果的持久化，它的存在是为了带来查询效率的提升。用户使……
思来想去，虽然很忙，但还是挤时间针对这次肺炎疫情写个Python大数据分析系列博客，包括网络爬虫、可视化分析、GIS地图显示、情感分析、舆情分析、主题挖掘、威胁情报溯源、知识图谱、预测预警及AI和NLP应用等。希望该系列线上远程教学对您有所帮助，也希望早点战胜病毒，武汉加油、湖北加油、全国加油。待到疫情结束樱花盛开，这座英雄的城市等你们来。 前文分享了腾讯疫情实时数据抓取，获取全国各地和贵州省各地……
一个基于 vue、datav、Echart 框架的大数据可视化（大屏展示）模板，最近更新了详细的介绍说明，实现大数据可视化。通过 vue 组件实现数据动态刷新渲染，内部图表可自由替换。部分图表使用 DataV 自带组件，可自由进行更改，持续更新… 项目地址： vue-big-screen（码云），去码云给个三连吧，求求大家惹（老B站了） 一、项目描述 一个基于 vue、datav、Echart 框……
腾讯位置大数据 人口迁徙图 我已拿到从16年至今此网站能提供的城市迁徙大数据，请自行确认自己想要的城市此网站是否提供，部分三四线城市不提供 还有一点：网站不提供具体人数，如果需要具体人数的话我有联通的2020年1-6月份的扩样后的具体人数数据 如需数据请加我qq，在我博客的其他文章里可以找到 爬取简单思路： 1、获取URL 2、遍历所有城市名，遍历从16年至今的日期 3、访问URL，记得捕获异常，……
思来想去，虽然很忙，但还是挤时间针对这次肺炎疫情写个Python大数据分析系列博客，包括网络爬虫、可视化分析、GIS地图显示、情感分析、舆情分析、主题挖掘、威胁情报溯源、知识图谱、预测预警及AI和NLP应用等。希望该系列线上远程教学对您有所帮助，也希望早点战胜病毒，武汉加油、湖北加油、全国加油。待到疫情结束樱花盛开，这座英雄的城市等你们来。 第一篇文章将分享腾讯疫情实时数据抓取，获取全国各地和贵州……
本篇博客所分享的知识非常硬核,建议各位看官(尤其是大数据专业的同学啊)，赶紧搬好小板凳，带好西瓜，我们边看边吃瓜。 说错了，是带着小本，边看边记下来 申明：本篇仅仅只是作为一个大纲目录，具体内容我会在后续详细展开说明! 为什么这么说，继续往下看大家就明白了~ 文章目录 【第一章】 面试说明 1.1 面试过程最关键的是什么？ 1.2 面试时该怎么说？ 1.3 面试技巧 1.3.1 六个常见问题 1.……
3.6.1OutputFormat接口实现类 OutputFormat是MapReduce输出的基类，所有实现MapReduce输出都实现了OutputFormat接口。下面我们介绍几种常见的OutputFormat实现类。 1、文本输出TextOutputFormat 默认的输出格式是TextOutputFormat，它把每条记录写为文本行。它的键和值可以是任意类型，疑问TextOutputFo……