《戰狼Ⅱ》破50億 Python爬蟲抓取獲取12萬條影評分析看它在說

來源：奇酷教育發表于：2017-08-23 10:03:46

《戰狼Ⅱ》破50億了，你還不知道它在說啥？本文通過Python爬蟲抓取獲取12萬條影評分析，告訴你《戰狼Ⅱ》用什么撩到了你。

　　先上一張炸裂的海報。

　　數據的獲取

　　對于數據的獲取，本文采用的是Python爬蟲的方式獲取的數據。用到的主要是requests包與正則包re。該程序并未對驗證碼進行處理。

　　之前也爬取過豆瓣的網頁，當時由于爬取的內容少，所以并沒有遇到驗證碼的事情。在寫本文爬蟲的時候，原以為也不會有驗證碼，但是當爬取到大概15000個評論的時候跳出來驗證碼。然后我就想不就是十二萬嗎?最多我也就是輸入大概十幾次驗證碼，所以就沒有處理驗證碼的事情。

　　但是接下來的事情就有點坑到我了。爬取15000左右評論并輸入驗證碼的時候，我以為會接下來爬取到30000左右，可是才爬了3000左右就不行了，還是要輸驗證碼。然后就一直這樣，跌跌撞撞，有時候爬取好長時間才需要驗證碼，有時候則不是。不過最后還是把評論爬取下來了。

　　爬取的內容主要是：用戶名，是否看過，評論的星星點數，評論時間，認為有用的人數，評論內容。參看下圖（用戶名已隱藏）：

　　這個是影評的起始頁：豆瓣影評

　　以下是Python爬蟲的代碼

import requests
import re
import pandas as pd
url_first='https://movie.douban.com/subject/26363254/comments?start=0'
head={'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)Ubuntu Chromium/59.0.3071.109 Chrome/59.0.3071.109 Safari/537.36'}
html=requests.get(url_first,headers=head,cookies=cookies)

cookies={'cookie':'你自己的cookie'}  #也就是找到你的賬號對應的cookie

reg=re.compile(r'.*?.*?(.*?).*?(.*?).*?title="(.*?)">.*?title="(.*?)">.*?class=""> (.*?)\n',re.S)  #評論等內容
while html.status_code==200:
    url_next='https://movie.douban.com/subject/26363254/comments'+re.findall(reg,html.text)[0]                             
    zhanlang=re.findall(ren,html.text)
    data=pd.DataFrame(zhanlang)
    data.to_csv('/home/wajuejiprince/文檔/zhanlang/zhanlangpinglun.csv', header=False,index=False,mode='a+') #寫入csv文件,'a+'是追加模式
    data=[]
    zhanlang=[]
    html=requests.get(url_next,cookies=cookies,headers=head)

　　以上代碼注意設置你自己的User-Agent，Cookie，CSV保存路徑等。

　　爬取的內容保存成CSV格式的文件。保存的文件內容如下

　　數據清洗

　　本文用R語言來處理數據。雖然在爬取的時候已經非常注意爬取內容的結構了，但是還是不可避免的有一些值不是我們想要的，比如有的評論內容會出現在評論者這一項中。所以還是有必要進行一下數據的清洗。

　　首先加載要用到的所有包：


library(data.table)
library(plotly)
library(stringr)
library(jiebaR)
library(wordcloud2)
library(magrittr)

導入數據并清洗：


dt<-fread(file.choose()) #導入數據
dt[,c("V8","V9","V10","V11","V12","V13"):=NULL] #刪除空列

#一條命令清洗數據

my_dt<-dt[str_detect(贊成評論數,"\\d+")][評論有用=='有用'][是否看過=="看過"][五星數%in%c("很差","較差","還行","推薦","力薦")]

　　數據淺析

　　先來看一看通過星星數評論的情況：

　　五星數)],type = 'bar',x=~五星數

　　五角星的個數對應5個等級，5顆星代表力薦，4顆星代表推薦，3顆星代表還行，2顆星代表較差，1顆星代表很差。通過五角星的評論顯而易見。我們有理由相信絕大部分觀看者對這部影片持滿意態度。

　　對評論結果的云圖展示：

首先我們應該先進行評論的分詞


wk <- worker()
sw<-function(x){wk<=x}
segwords<-lapply(my_dt[,評論內容],sw)
my_segwords<-unlist(segwords) #不要列表

#去除停止詞

st<-readLines(file.choose()) #讀取停止詞
stopwords<-c(NULL)

for(i in 1:length(st))
{
  stopwords[i]<-st[i]
}

seg_Words<-filter_segment(my_segwords,stopwords)  #去除中文停止詞

總體評論云圖展示


words<-table(seg_Words)%>%data.table()

setnames(words,"N","pinshu")

words[pinshu>1000] #去除較低頻數的詞匯（小于1000的）

wordcloud2(words[pinshu>1000], size = 2, fontFamily = "微軟雅黑",color = "random-light", backgroundColor = "grey")

由于數據太多，導致我的破電腦卡頓，所以在制作云圖的時候去掉了頻數低于1000的詞匯。

云圖結果如下：