crawler

python網頁爬蟲開發，下載表特板熱門文章中的圖片存於本地資料夾。 繼上篇文章"PTT爬蟲 - Marvel篇"，本篇介紹怎麼爬取表特板的圖片，並下載至本地資料夾。 讀取表特板與marvel板最大的不同除了一個是存圖片一個是文字之外，還有就是表特板需要紀錄滿18歲的cookie，所以在發送request時，需把cookie "over18"的值設為"1"。 引用python套件 BeautifulSoup 用於解析html DOM pip3 install beautifulsoup4 requests 用於對網址發出http requests pip3 install requests urllib 透過URL下載圖片。 pip3 install urllib3 程式碼 架構 程式碼解析 Demo 架構 st>start: 程式進入點 op1>operation: 讀取PTT Beauty首頁 op2>operation: 設定讀取頁數 op3>operation: 解析HTML DOM op4>operation: 儲存圖片 op5>operation: 前往下一頁URL cond>condition: 是否最後一頁? e>end: 程式結束 st->op1->op2->op3->op4->cond cond(no)->op5->op3 cond(yes)->e 程式碼解析 from bs4 import BeautifulSoup import requests import urllib.request import re # 正規表示 import os # 操作系統資料夾、檔案 def main(): # 頁面URL URL_now "https://www.ptt.cc/bbs/beauty/index.html" # 跑的次數 targetLoop 1000 countLoop 1 while countLoop 85): content_list list() content_list.append(div.find('div', class_'title').text.split('\n')) content_list.append(div.find('div', class_'title').a.get('href')) href_list.append(content_list) except: try: if (((div.find('div', class_'title').text.split('［')).split(']'))) ! "創作" and (((div.find('div', class_'title').text.split('.split(']'))) ! "公告": if ('爆' div.find('div', class_'nrec').text): content_list list() content_list.append(div.find('div', class_'title').text.split('\n')) content_list.append(div.find('div', class_'title').a.get('href')) href_list.append(content_list) elif (int(div.find('div', class_'nrec').text) > 85): content_list list() content_list.append(div.find('div', class_'title').text.split('\n')) content_list.append(div.find('div', class_'title').a.get('href')) href_list.append(content_list) except: pass for item in href_list: loadArticle(item) # 前往下一頁 nextURL findNextPageURL(soup) URL_now "https://www.ptt.cc" + nextURL return URL_now """ 下一頁URL """ def findNextPageURL(HTMLdata): return (HTMLdata.find('div', id'action-bar-container').find_all('a')).get('href') """ 取當前頁面所有文章列 """ def findAllTitle(HTMLdata): # data.find_all('div', class_'title') rows HTMLdata.find_all('div', class_'r-ent') return rows """ 讀取爆文內文圖檔連結 存為jpg """ def loadArticle(data): print(data) title fixFilePath(data) URL "https://www.ptt.cc" + data res requests.get(URL, cookies{'over18': '1'}) soup BeautifulSoup(res.text, 'html.parser') img_urls list() for link in (soup.find('div', id'main-content').find_all('a')): if re.match(r'^https?://(i.)?(m.)?imgur.com', link.get('href')): img_urls.append(link.get('href')) # save file save(img_urls, title) """ Save image """ def save(img_urls, title): if img_urls: try: folder_name "./beauty/" + title.strip() os.makedirs(folder_name) for img_url in img_urls: # e.g. 'http://imgur.com/9487qqq.jpg'.split('//') -> if img_url.split('//').startswith('m.'): img_url img_url.replace('//m.', '//i.') if not img_url.split('//').startswith('i.'): img_url img_url.split('//') + '//i.' + img_url.split('//') if not img_url.endswith('.jpg'): img_url + '.jpg' file_name img_url.split('/') urllib.request.urlretrieve(img_url, os.path.join(folder_name, file_name)) except Exception as e: print(e) """ Fix the illegal file path charactors """ def fixFilePath(oriPath): title oriPath.replace('/', ' ') title title.replace('\\', ' ') title title.replace('"', ' ') title title.replace('*', ' ') title title.replace('?', ' ') title title.replace(':', ' ') title title.replace(';', ' ') title title.replace('|', ' ') title title.replace(',', ' ') title title.replace('', ' ') return title if __name__ "__main__": main() Function解析 - def parsePage(pageURL) 讀取文章列表HTML DOM，取得人氣為 "爆" 或是大於 85 推以上的文章。 將文章標題及文章URL存入文章list。 呼叫loadArticle，分別處理list中各文章內容。 - def findNextPageURL(HTMLdata) 此將回傳下一頁的URL。 - def findAllTitle(HTMLdata) 此將回傳當前文章列表所有文章標題，唯一list。 - def loadArticle(data) parse文章內容，儲存於txt檔案。 - def save(img_urls, title) 儲存圖片為jpg。 - def fixFilePath(oriPath) 處理txt檔案名稱，針對windows不合法的檔案名稱字元進行replace。 Demo 資料夾內容 圖片內容

crawler

[python] PTT爬蟲 – Beauty(表特)篇

[python] PTT爬蟲 – Marvel篇

crawler

[python] PTT爬蟲 – Beauty(表特)篇

[python] PTT爬蟲 – Marvel篇

Headline