數據工程師的工作日常
數據分析師是一個關鍵的角色，負責對公司的數據進行分析，以應用于商業決策。對於數據分析師來說，日常工作包括：數據追蹤、數據清理、資料視覺化和分析優化。
關於數據分析師的技能樹可以參考：
- 數據追蹤 (Data Tracking)：最常見的是 Web 和 App 的使用者行為追蹤，和廣告程式碼的埋設追蹤，大多會使用 Google Tag Manager 來進行埋設。
- 數據清理 (Data Cleaning)：數據清理、整合和維護是重要日常的工作任務之一，除了使用公司的資料庫外，也會需要串接第三方數據 API 或爬取公開數據資料，所以 Python 和 SQL 是數據分析師必備的技能。
- 資料視覺化 (Data Visualization)：每間公司用的視覺化工具不同，常見的有 Tableau、Power BI 和 Looker Studio，我個人常用的是 Google 的 Looker Studio，原因是可以跨裝置 (Mac/Windows，Desktop/Mobile) 使用，串接第三方資料超方便 (Google sheet、MySQL、Google Analytics…)，而且最重要是不需要任何付費。
- 數據分析和優化 (Data Analytics)：通常從數據中找到 insight 後，我們會做出假設、然後進行測試和驗證，舉例像是很常使用 A/B testing (Google Optimize) 來進行測試。
除了準備以上技能外，可以學習從日常中的數據，做一些數據分析的 sideproject，可以從如何搜集數據、資料視覺化和數據分析，這三個面向開始下手，以下是我過去寫的一些數據分析案例，希望對走在數據分析師路上的你有幫助 🙂
如何利用公開數據做競品分析？
爬取競品公開資料，建立數據儀表板掌握情報，來提高自己銷售業績：
– 產業 Top 10 的總營收
– 商品上架優先策略
– 商品訂價策略
– 競品對手 每日/每週/每月 銷售狀況
- 2022 年前三季成長 +27%
- 與去年 2021 相比 +33%
最近在幫同事內訓，找了一份有趣的 dataset，讓大家從與自身有關的數據中探索。
這篇我們簡單分析了新加坡房租的變化，並在最後建立一個 dashboard 給有在找新加坡租房的朋友，可以快速比較房型和各地區租金。
如果拿到對手網站的 Sitemap，可以做很多事情，像是知道對方的 SEO 策略、新產品、新 seller、search keyword… 然後可以用做很多有趣延伸的事情。
我總共爬到了 3 千多個 sitemap (來自 Top 500 公司 、Top 500 domains…)，然後利用他們的 sitemap 命名規則來當 Database，最後你只需要輸入想爬的網站，程式就會自動把所有的 URLs 測試一次！
我把這隻程式包成 python package，有興趣的朋友可以玩玩看～
如何預測實體商家營收，和降低顧客流失？
利用 Python 取得台北市 89 間 Google 商家桌遊店資料，期望從中找出如何降低顧客流失率？店家如何決定價格？店家如何決定營業時間？和店家的實體營收預測，此次以 Google 商家中的桌遊店為範例進行分析。
Looker Studio 電商數據儀表板
整理出電商 Google Analytics 最常看的 8 個面向數據，包含產品分析、新舊客區隔、網頁標題、搜尋字詞和客戶輪廓，再搭配利用 Looker Studio 資訊圖表方式呈現，Dashboard 模板這邊領取。
QSearch Trend – 雙 11 社群數據分析
從 QSearch Trend 頁面中取得 QSearch API，撈取了 FB 粉絲團於 2019/10/1 – 2019/11/14 文章內有提及雙11的數據，並進行以下分析小編雙 11 發文的量化數據 & 剖析發文質量觀察。
如何利用 Google Trend (搜尋趨勢) 挑選爆款商品
每個月要從 4000 件商品挑出 3~5 件商品出來打廣告，銷售的好壞其實很考驗挑品能力；此篇利用 Python 串 Google Trend API 爬取過去趨勢資料，Pandas 合併和整理，再利用 Decision Tree、KNN、Logistic Regression…等 8 種模型進行機器學習來預測未來搜尋熱度，最後利用這些數據輕鬆地挑選商品來進行推廣。
用四張圖表提升部落格 SEO 流量
部落格「數據」需要留意什麼？又要怎麼建立 KPI 指標，來監測、優化來提升部落格流量？
Max 行銷誌寫到第三年才比較有抓到部落格經營的眉眉角角。這篇來聊聊，至今認為最合適的「KPI 指標」和需要觀察的「數據儀表板」。
最近和朋友一起在 Hahow 開了一堂 DataStudio 的課程，從入門到進階還有 8 個 dashboard 模板，有興趣的朋友可以先看看這篇文章，希望可以帶你跳脫 dashboard 的框架限制。
利用 Google Sheet 打造 Blog Monitor
管理 10+ Blog 最怕遇到 server crash 的狀況，利用 Google Sheet 打造出即時監測系統，有警示通知外還有視覺化儀表板，有興趣的朋友可以複製建立自己的 Blog Monitor。
今年蠻多大活動都從線下改辦在 Gather Town，這篇聊聊如何利用 Gather Town video object 的特性，進行局部區域的使用者 traffic 數據追蹤。
Google Search 開始逐步將 Page experience 納入搜尋排名指標，這篇整理了 6 個 Lighthouse Performance 解釋和如何優化的筆記，有興趣的朋友可以看看。
這篇利用 LinkedIn 的好友資料，結合 Looker Studio 製作出一份 Linkedin Dashboard，有興趣的朋友可以匯出自己的資料試做看看。
LINE-Bot 自動化工具
前陣子加入 AM 6:00 的早起團，看到大家用人工統計出席記錄的方式，覺得很費時，所以寫了一隻 Line Bot 打卡機器人，並串接 DataStudio 呈現出席狀況，有興趣看可參考 code，改成自己的 Line Bot。
如何優化 Landing Page 到達頁?
採用 Google 搜尋引擎 Spider 的角度融合 Python 撰寫程式進行頁面的詞頻分析、重要字分析、情緒分析來優化 SEO 關鍵字和頁面，最後使用餘弦相似性來判斷優化進步空間，並設定 SEO 追蹤排名程式來追蹤成效。
Python 快速計算 RFM 模型
針對 CRM 客戶資料進行分析，利用 RFM 模型和 K-mens 將顧客名單分群，切割名單後再利用 FB 廣告或是 Google Ads 廣告進行再行銷投放。
Python 快速計算 NES 模型
NES 模型是為了掌握顧客的消費行為變動性而設計，將客戶分群成為三大類，共五種標籤：N 代表新顧客（New Customer）、E 代表既有顧客（Existing Customer）、S 代表沉睡顧客（Sleeping Customer），切割名單後再利用 FB 廣告或是 Google Ads 廣告進行再行銷投放。
Python 爬取競爭對手 Google 搜尋關鍵字佈局和文案
使用 Python 快速整理競爭對手的關鍵字佈局和文案，撰寫關鍵字規劃書時要不停的手 key 關鍵字來查詢還蠻麻煩的，所以寫了這個小程式利用 Python 爬取 Google 搜尋結果，一次輸入多個要觀察的關鍵字，參考後來優化自己關鍵字廣告（SEM）或是部落格文章 SEO。
Python x 電商數據分析指標
使用 Python 快速計算電商重要的指標：留存率（User retention）、回購率（Repurchase rate）、購買週期（Repurchase cycle）、終身價值 LTV（Life time value）、消費分佈和客戶分群 RFM 模型。
Looker Studio 模板分享 – GA 購物階段
購物階段是個 GA 偏冷門但非常實用的維度，將使用者購物行為細切分為 20 個以上的小步驟，將流程製作成 Dashboard，只需要複製套用就可以使用囉！
爬蟲監控資訊平台
精選 20 個左右行銷相關網站，建立爬蟲監控平台，當精選網站有更新文章時 Line bot 會進行通知，並且建立管理後台方便未來擴展網站清單和維護爬蟲。
電商平台
過去工作上很常透過 Google Tag Manager 來修改客戶的網頁 ( Html / JavaScript ) 進行網頁的 A/B Testing，可惜通常只能小幅度調整和測試，所以這次就自己來打造一個滿意的電商吧！
連載中，最後更新時間 2023/06/22，歡迎交流！