你是否曾经遇到那个她？让你至今难忘，却又错过了？如果有，小编今天就教了爬取她的QQ空间的说说，如果没有，那也没有关系，小编我陪你哈哈，那你可以爬取你自己的QQ空间
在金庸小说里面其实最喜欢的还是天龙八部，还有射雕英雄传，传说中女孩遇上杨过会误终身，也确实，杨过那么帅气，又是大侠，但是杨过遇上小龙女也误了终身，哈哈
太伤感了，不谈太多感情的事情，免得勾起太多回忆，回忆过去，痛苦的相思忘不了，为何你还来拨动我心跳啊
好了，废话少说，小编我就来带你爬取你喜欢的人的QQ空间的说说，我来分析一下，最近这些年，她过的还好？说说里面都有什么话？或许你看到这些说说你就会安心了，也许也会死心了
我在爬取QQ说说时候，我们需要我们的账号密码，然后点击登录按钮就登录进来我们的 QQ 空间了，然后我们要看看我们自己的说说需要滑动到最后，然后点击下一下，再看到下一页的信息
嗯，不过几分钟的时间，我就登录进来我自己的QQ空间了，好干净啊，我还是蛮喜欢QQ的，因为QQ承载着我许多中学的回忆，我会一直保留着自己的QQ号，直到死亡那一刻画上句号
首先我们需要一个自动化爬取工具就是 selenuim 用来打开 chrome 浏览器
from selenium import webdriver实现自行登录
-
#获取浏览器驱动
-
#driver = webdriver.Firefox()
-
driver = webdriver.Chrome()
-
#driver = webdriver.Chrome()
-
# 浏览器窗口最大化
-
#driver.maximize_window()
-
-
# 浏览器地址定向为qq登陆页面
-
driver.get(
"http://i.qq.com")
-
-
# 所以这里需要选中一下frame，否则找不到下面需要的网页元素
-
driver.switch_to.frame(
"login_frame")
-
-
# 自动点击账号登陆方式
-
driver.find_element_by_id(
"switcher_plogin").click()
-
-
# 账号输入框输入已知qq账号
-
driver.find_element_by_id(
"u").send_keys(user)
-
-
# 密码框输入已知密码
-
driver.find_element_by_id(
"p").send_keys(pw)
-
-
# 自动点击登陆按钮
-
driver.find_element_by_id(
"login_button").click()
-
-
# 让webdriver操纵当前页
-
driver.switch_to.default_content()
-
-
# 跳到说说的url, friend你可以任意改成你想访问的空间
-
driver.get(
"http://user.qzone.qq.com/" + friend +
"/311")
然后登录成功之后，就是模拟人的一系列操作，首先是一页一页的看QQ空间的说说，那我们爬取也是模拟人点击下一页，下一页的爬取QQ空间的说说
-
next_num =
0 # 初始“下一页”的id
-
while True:
-
-
# 下拉滚动条，使浏览器加载出动态加载的内容，
-
# 我这里是从
1开始到
6结束 分
5 次加载完每页数据
-
for i in
range(
1,
6):
-
height =
20000*i#每次滑动
20000像素
-
strWord =
"window.scrollBy(0,"+str(height)+
")"
-
driver.execute_script(strWord)
-
time.sleep(
4)
-
-
# 很多时候网页由多个<frame>或<iframe>组成，webdriver默认定位的是最外层的frame，
-
# 所以这里需要选中一下说说所在的frame，否则找不到下面需要的网页元素
-
driver.switch_to.frame(
"app_canvas_frame")
-
selector = etree.HTML(driver.page_source)
-
divs = selector.xpath(
'//*[@id="msgList"]/li/div[3]')
-
-
#这里使用 a 表示内容可以连续不清空写入
-
with open(
'qq_word.txt',
'a', encoding=
'utf-8') as f:
-
for div in divs:
-
qq_name = div.xpath(
'./div[2]/a/text()')
-
qq_content = div.xpath(
'./div[2]/pre/text()')
-
qq_time = div.xpath(
'./div[4]/div[1]/span/a/text()')
-
qq_name = qq_name[
0]
if
len(qq_name)>
0
else
''
-
qq_content = qq_content[0] if len(qq_content)>0 else '
'
-
qq_time = qq_time[0] if len(qq_time)>0 else '
'
-
print (qq_name,qq_time,qq_content)
-
f.write(qq_content+"\n")
-
-
# 当已经到了尾页，“下一页”这个按钮就没有id了，可以结束了
-
if driver.page_source.find('pager_next_
' + str(next_num)) == -1:
-
break
-
-
# 找到“下一页”的按钮，因为下一页的按钮是动态变化的，这里需要动态记录一下
-
driver.find_element_by_id('pager_next_
' + str(next_num)).click()
-
-
# “下一页”的id
-
next_num += 1
-
-
# 因为在下一个循环里首先还要把页面下拉，所以要跳到外层的frame上
-
driver.switch_to.parent_frame()
接下来我们就来运行一下代码吧，看看效果
python shuoshuo.py '朋友的QQ号' '你自己的QQ号' '你自己的QQ登录密码'
结果我就登录进来了
我们先在当前目录下新建一个爬取QQ说说之后的文本文件保存为
qq_word.txt
好了至此，我们就算爬完QQ空间好友的说说了，明天带领大家进行词云分析
拿去不谢，记得关注我，点赞哦，给加腿腿吧，想要源码直接后台关注我，回复'进群'，加我微信，我直接发源码给你，有问题还可以找我解答哦，拿走不谢
转载：https://blog.csdn.net/qq_36772866/article/details/105525480
查看评论