[爬蟲筆記] Python Selenium 爬蟲教學:實作商品庫存爬取

發佈於 發佈留言分類: 03 Python 爬蟲教學10 所有文章

利用 Python 寫 Selenium 爬蟲來爬取網站的商品狀態,其中使用到 Selenium 等待網頁載入完畢,BeautifulSoup 解析爬取資料,和 Smtplib 將結果寄信給我和同事,最後用 Linux 內建的 Crontab 排程於每日早上執行這件事情,就這樣每天進公司前就可以在信箱裡面看到這份資料了~ 第一步:Python Selenium自動開啟瀏覽器! 這部分原本是使用 implicitly_wait(): 隱式等待的方法,但因為 WebDriver 常常等到超出時間設定造成回拋異常,所以這邊改成先讓他沈睡 5 秒鐘,再進行爬取資料!   第二步:BeautifulSoup解析網頁 這部分嘗試了 findall() 但最後還是選擇用 selcet() 將 # […]