Kafka到Hdfs,大数据数据抽取,yyyy-MM-ddThh:mm:sssZ转yyyy-MM-dd hh:mm:ss

部署乱七八糟环境感觉还是用docker的好,虽然我不会,如果是内网的话,再让我选一次,我一定选docker,然而开发环境和部署环境各种不同,真的会搞死人.

关于kafka重复数据,拉取不到最新数据,可能是配置consumer参数问题,如果设置的max.pool

因为max.poll.interval.ms默认值为30000,设置的max.poll.records为1000,在阻塞时间内业务尚未处理完成,kafka会认为心跳失败,offset未提交,重新消费.所以数据一是重复的,二无法消费到最新的消息

时间转换函数,如果不是时间格式返回原值,大致匹配正则表达式:

"[1-2][0-9]{3}-[0-1][0-9]-[0-3][0-9]T[0-2][0-9]:[0-5][0-9]:[0-9]{2}.[0-9]{3}Z"

    private static String timeC(String UTC0) {
        SimpleDateFormat dff = new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ss.SSS", Locale.ENGLISH);//输入的被转化的时间格式
        SimpleDateFormat df1 = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");//需要转化成的时间格式
        Date date1 = null;
        try {
            date1 = dff.parse(UTC0);
            long utc8 = date1.getTime() + 8 * 60 * 60 * 1000;
            Date date = new Date(utc8);
            String UTC8 = df1.format(date);
            return UTC8;
        } catch (ParseException e) {
            e.printStackTrace();
            return UTC0;
        }
    }