前言:感觉大家对面试题比较感兴趣,之前发布的Python基础面试题阅读量都很高,后期会持续更新面试系列,以及收集一些大厂的面试题,希望能帮助到大家,同时本文比较长,可以关注之后收藏慢慢看,如果大家比较喜欢,大数据面试后续会持续更新,如果需要其他方向的面试题也可以评论或私信告诉我,记得三连呦。 大数据面试100题 数据采集面试题 Flume Flume 使用场景 Flume 丢包问题 Flume 与……
思来想去,虽然很忙,但还是挤时间针对这次肺炎疫情写个Python大数据分析系列博客,包括网络爬虫、可视化分析、GIS地图显示、情感分析、舆情分析、主题挖掘、威胁情报溯源、知识图谱、预测预警及AI和NLP应用等。希望该系列线上远程教学对您有所帮助,也希望早点战胜病毒,武汉加油、湖北加油、全国加油。待到疫情结束樱花盛开,这座英雄的城市等你们来。 前文分享了腾讯疫情实时数据抓取,获取全国各地和贵州省各地……
前言 视图这个概念大家并不陌生,在mysql中,视图(view)是一种虚拟存在的表,是一个逻辑表,本身并不包含数据。作为一个select语句保存在数据字典中的。通过视图,可以展现基表(用来创建视图的表)的部分数据,视图数据来自定义视图的查询中使用的表,使用视图动态生成。 clickhouse 物化视图 ClickHouse 的物化视图是一种查询结果的持久化,它的存在是为了带来查询效率的提升。用户使……
思来想去,虽然很忙,但还是挤时间针对这次肺炎疫情写个Python大数据分析系列博客,包括网络爬虫、可视化分析、GIS地图显示、情感分析、舆情分析、主题挖掘、威胁情报溯源、知识图谱、预测预警及AI和NLP应用等。希望该系列线上远程教学对您有所帮助,也希望早点战胜病毒,武汉加油、湖北加油、全国加油。待到疫情结束樱花盛开,这座英雄的城市等你们来。 第一篇文章将分享腾讯疫情实时数据抓取,获取全国各地和贵州……
一个基于 vue、datav、Echart 框架的大数据可视化(大屏展示)模板,最近更新了详细的介绍说明,实现大数据可视化。通过 vue 组件实现数据动态刷新渲染,内部图表可自由替换。部分图表使用 DataV 自带组件,可自由进行更改,持续更新… 项目地址: vue-big-screen(码云),去码云给个三连吧,求求大家惹(老B站了) 一、项目描述 一个基于 vue、datav、Echart 框……
腾讯位置大数据 人口迁徙图 我已拿到从16年至今此网站能提供的城市迁徙大数据,请自行确认自己想要的城市此网站是否提供,部分三四线城市不提供 还有一点:网站不提供具体人数,如果需要具体人数的话我有联通的2020年1-6月份的扩样后的具体人数数据 如需数据请加我qq,在我博客的其他文章里可以找到 爬取简单思路: 1、获取URL 2、遍历所有城市名,遍历从16年至今的日期 3、访问URL,记得捕获异常,……
本篇博客所分享的知识非常硬核,建议各位看官(尤其是大数据专业的同学啊),赶紧搬好小板凳,带好西瓜,我们边看边吃瓜。 说错了,是带着小本,边看边记下来 申明:本篇仅仅只是作为一个大纲目录,具体内容我会在后续详细展开说明! 为什么这么说,继续往下看大家就明白了~ 文章目录 【第一章】 面试说明 1.1 面试过程最关键的是什么? 1.2 面试时该怎么说? 1.3 面试技巧 1.3.1 六个常见问题 1.……
Flink - 尚硅谷- 大数据高级 Flink 技术精讲 Flink - 尚硅谷- 大数据高级 Flink 技术精讲 一、Flink 简介 二、Quick Start 2.1 环境 2.1 Flink 安装包 2.2 nc 2.3 pom 配置 2.2 批处理 2.3 流处理 三、Flink 部署 3.1 Standalone 模式 3.2 Yarn 模式 3.2.1 Flink on Yarn……
文章目录 实时同步MySQL数据到Hive 一、开启MySQL的binlog日志 1、登录mysql查看MySQL是否开启binlog日志 2 、开启mysql binlog日志 3、重启mysql 服务,重新查看binlog日志情况 二、配置“CaptureChangeMySQL”处理器 1、创建“CaptureChangeMySQL”处理器 2、配置“DistributeMapCacheSer……
关于Clickhouse 备份方式,其官方网站上就提供了多种备份方式可以参考,不同的业务需求有不同的使用场景,需要使用不同的备份方式,不存在一个通用的解决方案可以应对各种情况下的ClickHouse备份和恢复。今天这个文字,我们介绍的是各种不同的Clickhouse的迁移方式,具体使用场景还需要根据要求进行选择。 一、 文本文件导入导出 数据库里的数据导出成特定的格式,再导入,这种方式很直接,也很……