multithreadpool

【爬蟲教學】Python多線池MultiThreadPool的兩種方法

Posted Leave a commentPosted in 05 Python 爬蟲教學, 10 所有文章

先來看一下實施線程池後,可以將每一個頁面原本需要15s才能爬取完畢的頁面,降至3.9秒(10 thread pool)~2.28秒(25 thread pool),但是線程池要小心使用,不小心就會像上面圖片一樣,想像中大家是各自完成任務,但實際上是亂七八糟的執行任務 多線池(Multithread Pool)實現方法一 首先install threadpool,這是個最後更新時間在2015年的套件 […]