Python Python – 氣象局開放資料API,抓取未來一週天氣預報在做數據分析的時候,天氣資料是經常被拿來使用的資料。氣象局在政府資料開放平台上提供了鄉鎮天氣預報-台灣未來1週天氣預報,並提供了json的API。雖然容易使用,但資料中總... - 2021-04-12
資料科學 Linux Crontab自動化排程,執行Python/R程式網路上雖然有許多Linux的教學文章,Stack Overflow上也有許多熱心網友的問與答,但我認為大部份資訊過於片面,必須拼拼湊湊多篇文章,才能練成Crontab即戰... - 2021-04-10
資料科學 數據分析師的工作日常3 – 建立資料團隊的文化與程式規範對於資料科學家和數據分析師來說,雖然他們也寫程式,但他們寫程式的習慣和一般認知的工程師不太相同,甚至有些人對於寫code的背景知識明顯不足。或許你會說,「因為現在很多做數... - 2021-01-17
Python 在Python重建R語言lubridate套件的ymd,將數字轉換為日期許多Python使用者都曾抱怨datetime套件不好用,語法繁瑣而且不直覺,不像R語言中的lubridate這麼簡單好用,ymd()甚至可以直接將數字轉為日期,像是20... - 2020-11-26
資料科學 在蝦皮數據分析競賽中領略的專案管理技能在快節奏的比賽中,我認為最大的危機是沒有釐清每個團員的工作內容,也沒有清楚的Leader,所有事情都是即興演出,導致工作量與資源分配失衡,或是重工的情形。因此,如果你們接... - 2020-11-23
投資理財 股市中誕生的資料科學家,經驗與金錢雙收的最強修羅場如果我們使用股市資料作為練習素材,目標是建立自己的投資輔助系統,系統的功能可能有資料抓取、數據分析、未來預測、視覺化圖表等,讓每一次的練習成果都成為投資系統的一部份。從這... - 2020-11-01
Python Python – 透過證交所開放資料API抓取台股當日交易資訊證交所在政府開放資料平台上提供了一個資料集個股日成交資訊,這裡面的資料會每日更新,並且只保留最新的資料。如果你想抓歷史股價資料,可以參考另一篇文章〈透過Yahoo Fin... - 2020-07-19
投資理財 使用Python及Yahoo Finance API抓取台股歷史資料無論是投資或是資料科學專案,經常需要股市資料作分析,雖然證交所在政府資料開放平台中提供了個股日成交資訊,但這裡的資料只有最新的收盤資料,無法查詢歷史記錄,因為歷史記錄都在... - 2020-06-25
資料科學 R語言 – 將向量中的物件加上括號或特殊符號將向量中的物件加上括號或特殊符號,我認為這是一個超級常用的功能,尤其是會在R中直接寫SQL語法的使用者來說,使用頻率更高。如以下範例:... - 2020-04-05
資料科學 R語言-使用data.table物件Cross Joindata.table是R語言中非常流行且好用的套件,但是它join的方式不是很直覺。常用的join方式如下表。Cross Join是SQL中的一種Join方式,這個方式會... - 2020-04-01