gcp_python_coverphoto

【爬蟲筆記】如何在 GCP 上架設運行 Python 爬蟲程式

本篇介紹如何在GoogleCloudPlatform上架設Python爬蟲程式:從GCP建立虛擬機、上傳Python檔案、在GCP執行Python爬蟲程式,和最後在GCP上設定自動排程每日執行。當初在研究GCP上花費不了少時間,所以寫了這篇文章供大家參考,而如果你是想在AWS雲端上架設Python爬蟲程式的話,可以參考這篇:在AWS雲端伺服器上利用 Python Selenium 擷取網站資料。 第一步:建立GCP虛擬機 建立GCP建立虛擬機的步驟可以參考這篇:[教學] 如何在 Google Cloud Platform 架設免費伺服器,按照流程建立好後,來到VM執行個體並點擊SSH,即可進入虛擬的終端機內。 第二部:上傳Python爬蟲檔案至GCP 點擊SSH後進入虛擬終端機,再點右上角齒 […]

閱讀全文
python_pygsheet

[資料庫筆記] Python 串接 GoogleSheet 新增、讀取、更新和刪除

此次整理了 pygsheets – Google Spreadsheets Python API 的官方文件,了解如何用 Python 串接 Google Sheet 來當作資料庫使用,從 Pygsheets 安裝、Python連結 Google Sheet API、到基礎資料庫的 CRUD 應用,本篇描述 Python 做 GoogleSheet 的新增欄位 Create、讀取資料 Read、更新數據 Update 和刪除Delete,提供大家參考。 ㄧ. Python 連結 Google Sheet API 1. 首先建立 Google Cloud Platform 帳號,選擇 Google Sheet API 啟用 2. 點選建立憑證 > 服務帳戶,並將金鑰 json […]

閱讀全文
Mysql_python_cover_photo

[資料庫筆記] Python 使用 MySQL資料庫的教學與安裝

整理 Using MySQL Databases With Python 的資料庫教學筆記,詳細紀錄程式碼範例:從 MySQL 進行安裝教學、Python 連結 MySQL 使用者設定、到基礎資料庫的查詢、讀取 CRUD 應用,讓大家能輕鬆使用 Python 上手 MySQL 進行蒐集和使用資料,附上程式碼提供大家參考。 一. Python 安裝 MySQL 首先是下載 MySQL,Mac 可以從這 Mac下載MySQL,Windows 的朋友在這 Windows下載MySQL,Mac 的朋友選擇第一個 macOS 10.14 DMG 檔 (如下圖) 安裝完後會被要求設定 MySQL 的帳號密碼,這組密碼務必記起來! 接下來安裝 MySQL GUI 工具(圖像化管理資料庫),推議使用 Wor […]

閱讀全文
競品關鍵字佈局

[數據分析] Python 爬取競爭對手 Google 搜尋關鍵字佈局和文案

過去撰寫關鍵字規劃書時,時常要觀察競爭對手的佈局和文案,要不停的手key關鍵字來查詢還蠻麻煩的,所以寫了這個小程式利用Python爬取Google搜尋結果,一次輸入多個要觀察的關鍵字,就可以利用python自動爬取競爭對手Google關鍵字佈局和文案。 第一步:開啟google_search_bs4執行檔 下載後開啟dist資料夾的google_search_bs4執行檔,此次利用pyinstaller將python環境和套件打包,解壓縮後即可執行檔案,方便不會Python或是使用Anaconda環境不同的朋友,一鍵開啟即可使用! 第二步:輸入關鍵字 輸入關鍵字:輸入的關鍵字可以無限組,但每個關鍵字之間要用半形逗號隔開(例如:投放,廣告操作)。 爬取頁數:目前設定是爬取每個關鍵字的前三頁,如 […]

閱讀全文
DataStudio 電商數據儀表板

【數據分析】Data Studio教學,打造電商數據儀表板

最近利用Data Studio 製作視覺化圖,表整理出Google Analytics最常看的8個面向數據Data Studio數據圖表,包含產品分析、新舊客區隔、網頁標題、搜尋字詞和客戶輪廓,打造屬於自己每日必看Dash board圖表。 本篇的電商 Dashboard 模板可以從這邊 領取,希望對你有幫助 🙂 一、每日必看 – 整體數據報表 左邊是6個電商必看的重點指標:大致上可分成三類Acquistion(用戶數據)、Behavior(行為數據)和Conversions(轉換數據):新舊訪客比例、客單價、電子商務轉換率、跳出率和平均停留時間等,都是必須隨時掌握觀察的數據指標。 右邊是三個裝置區別的圓餅圖:可快速觀察出流量的裝置佔比和個別裝置的跳出率和轉換率。 二、受眾輪廓圖 […]

閱讀全文