python爬虫爬取_高德地图_主要城市交通健康榜_实时数据

主要包括两个部分：
1、六宫格指标项
2、交通健康指数
中国主要城市交通健康榜

思路就是直接用requests包访问url，然后获取返回，写到json里就行，记得用try捕获异常

我已拿到从19年至今此高德网站能提供的城市迁徙意愿数据，每天有排行前50的城市
可参考我的另一篇文章
python爬虫爬取_高德地图_主要城市迁徙意愿排行榜_19年至今数据

还有一点：网站不提供具体人数，如果需要具体人数的话我有联通的2020年1-6月份的扩样后的具体人数数据
如需数据请加我qq，在我博客的其他文章里可以找到

import time
from datetime import datetime

import requests

from utils.read_write import writeOneJson

src = r'D:\data\高德迁徙\主要城市交通健康/'
headers = {
   "User-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"}


# 发送请求
def requerts_url(url, type):
    try:
        response = requests.get(url, timeout=1000, headers=headers)
        json = eval(response.text)
        print(datetime.now())
        now_time = str(datetime.now()).split(':')
        now_time = now_time[0].replace(" ", "_") + '_' + now_time[1]
        if type == 'six':
            writeOneJson(json, src + "六宫格指标项\\" + type + "_" + now_time + ".json")
        else:
            writeOneJson(json, src + "交通健康指数\\" + type + "_" + now_time + ".json")
    except Exception as e:
        print(e)
        print(url)
        print(datetime.now())


city_list = []


# 先将数据下载为Json文件
def city_range():
    six = "https://trp.autonavi.com/diagnosis/ajax/countryindicators.do"
    health = "https://trp.autonavi.com/diagnosis/rank.do"
    requerts_url(six, 'six')
    requerts_url(health, 'health')
    time.sleep(120)


if __name__ == '__main__':
    city_range()