簡(jiǎn)介：
　　用pyhon爬取動(dòng)態(tài)頁(yè)面時(shí)普通的urllib2無法實(shí)現(xiàn)，例如下面的京東首頁(yè)，隨著滾動(dòng)條的下拉會(huì)加載新的內(nèi)容，而urllib2無法抓取這些內(nèi)容，此時(shí)需要的主角selenium。

　　Selenium是一個(gè)用于Web應(yīng)用程序測(cè)試的工具。Selenium測(cè)試直接運(yùn)行在瀏覽器中，像真正的用戶在操作一樣。支持的瀏覽器包括IE、Mozilla Firefox、Mozilla Suite等。使用它爬取頁(yè)面也十分方便，只需要按照訪問步驟模擬人在操作可以了，完全不用操心Cookie，Session的處理，它甚至可以幫助你輸入賬戶，密碼，然后點(diǎn)擊登陸按鈕，對(duì)于上面的滾動(dòng)條，你只需要讓瀏覽器滾到到低端，然后保存頁(yè)面可以了。以上的這些功能在應(yīng)對(duì)一些反爬蟲機(jī)制時(shí)十分有用。接下來開始我們的講解正文，帶領(lǐng)大家實(shí)現(xiàn)一個(gè)需要登錄的動(dòng)態(tài)網(wǎng)頁(yè)的爬取。
　　案例實(shí)現(xiàn)：
　　使用selnium需要選擇一個(gè)調(diào)用的瀏覽器并下載好對(duì)應(yīng)的驅(qū)動(dòng)，在桌面版可以選擇Chrome，F(xiàn)ireFox等，服務(wù)器端可以使用PhantomJS，桌面版可以直接調(diào)出來瀏覽器觀察到變化，所以一般我們可以在桌面版用Chrome等調(diào)試好之后，將瀏覽器改為PhantomJS然后上傳到服務(wù)器使其運(yùn)行，這里我們直接以PhantomJS做演示.
　　首先時(shí)導(dǎo)入模塊：
　　1 from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
　　2 from selenium import webdriver
　　接下來時(shí)初始化一個(gè)瀏覽器，參數(shù)中可以指定加載網(wǎng)頁(yè)的一些屬性：
1 cap = webdriver.DesiredCapabilities.PHANTOMJS
2 cap["phantomjs.page.settings.resourceTimeout"] = 180
3 cap["phantomjs.page.settings.loadImages"] = False
4
5 driver = webdriver.PhantomJS(executable_path="/home/gaorong/phantomjs-2.1.1-linux-x86_64/bin/phantomjs"， desired_capabilities=cap)
　　上面初始了PhantomJS并設(shè)置了瀏覽器的路徑，加載屬性選擇了資源加載超時(shí)時(shí)間和不加載圖片（我們只關(guān)心網(wǎng)頁(yè)文本）。在 這里 還可以選擇其他設(shè)置。
　　設(shè)置一些屬性，并下載一個(gè)網(wǎng)頁(yè)
1 driver.set_page_load_timeout(180)
2 driver.get('https://otx.alienvault.com/accounts/login/')
3 time.sleep(5)
4 driver.save_screenshot('./login.png')   #為便于調(diào)試，保存網(wǎng)頁(yè)的截圖
　　由于在服務(wù)器端運(yùn)行難免出錯(cuò)，可以用save_screenshot保存當(dāng)前網(wǎng)頁(yè)的頁(yè)面便于調(diào)試。
　　接下來是輸入賬戶和密碼登陸，以獲取網(wǎng)站的Cookies，便于后面請(qǐng)求。
1 #輸入username和password
2 driver.find_element_by_xpath("/html/body/div[1]/div[1]/login/div[2]/div/form/input[1]").send_keys('*****')
3 time.sleep(1)
4 print 'input user success!!!'
5
6 driver.find_element_by_xpath("/html/body/div[1]/div[1]/login/div[2]/div/form/input[2]").send_keys('****')
7 time.sleep(1)
8 print 'input password success!!!'
9
10 driver.find_element_by_xpath("/html/body/div[1]/div[1]/login/div[2]/div/form/button").click()
11 time.sleep(5)
　　上面代碼使用find_element_by_xpath獲取輸入框的位置后輸入賬戶和密碼并點(diǎn)擊登陸鍵，可以看到一些都很方便。它會(huì)自動(dòng)跳轉(zhuǎn)到下一個(gè)頁(yè)面，我們只需要sleep幾秒等待它。
　　我們需要爬取的網(wǎng)頁(yè)信息在某個(gè)特定的element里，所以我們需要判斷一下這個(gè)element是否出現(xiàn)：
1  try:
2      element = WebDriverWait(driver， 10).until(
3          EC.presence_of_element_located((By.CLASS_NAME， 'pulses'))
4      )
5      print 'find element!!!'
6  except:
7      print 'not find element!!!'
8      print traceback.format_exc()
9      driver.quit()
　　上面判斷 class為 'pulse' 這個(gè)element是否出現(xiàn)，如果等待10s后還未出現(xiàn)，則selenum會(huì)爆出TimeoutError錯(cuò)誤。
　　上面進(jìn)行了基本的初始化，然后需要處理動(dòng)態(tài)的內(nèi)容了，這個(gè)網(wǎng)頁(yè)像京東一樣會(huì)隨著下拉自動(dòng)出現(xiàn)內(nèi)容，所以我們需要實(shí)現(xiàn)下拉滾動(dòng)條：
1 print 'begin scroll to get info page...'
2 t1 = time.time()
3 n = 60   #這里可以控制網(wǎng)頁(yè)滾動(dòng)距離
4 for i in range(1，n+1):
5     s = "window.scrollTo(0，document.body.scrollHeight/{0}*{1});".format(n，i)
6     #輸出滾動(dòng)位置，網(wǎng)頁(yè)大小，和時(shí)間
7     print s， len(driver.page_source)，time.time()-t1
8     driver.execute_script(s)
9     time.sleep(2)
　　其中driver.page_source是獲取網(wǎng)頁(yè)文本。當(dāng)滾動(dòng)完畢后我們可以調(diào)用它然后寫到一個(gè)文件里。這樣完成了這個(gè)的程序邏輯。
　　高級(jí)：
　　用selenim可以應(yīng)對(duì)常見的反爬蟲策略，因?yàn)橄喈?dāng)于一個(gè)人在瀏覽網(wǎng)頁(yè)，但是對(duì)于驗(yàn)證碼這些還需要做額外的處理，還有一點(diǎn)是訪問速度不能過快，畢竟他需要調(diào)用一個(gè)瀏覽器，如果嫌他速度慢的話我們可以在必要的時(shí)候使用他，非必要時(shí)候可以使用requests庫(kù)進(jìn)行操作。