小言_互联网的博客

【大数据】flink 读取文件数据写入ElasticSearch

342人阅读  评论(0)

前言

es是大数据存储的必备中间件之一,通过flink可以读取来自日志文件,kafka等外部数据源的数据,然后写入到es中,本篇将通过实例演示下完整的操作过程;

一、前置准备

1、提前搭建并开启es服务(本文使用docker搭建的es7.6的服务);

2、提前搭建并开启kibana服务(便于操作es的索引数据);

3、提前创建一个测试用的索引

PUT test_index

注意点:

使用docker搭建的es,可能会出现创建完毕索引后,插入数据报错的问题,即提示无操作权限的问题,如果出现这个问题,请执行下面的这段,否则在运行flink代码的时候也会报错;


  
  1. PUT _settings
  2. {
  3. "index": {
  4. "blocks": {
  5. "read_only_allow_delete": "false"
  6. }

转载:https://blog.csdn.net/congge_study/article/details/127822270
查看评论
* 以上用户言论只代表其个人观点,不代表本网站的观点或立场