【讀書筆記】特徵工程不再難

本篇文章為 特徵工程不再難：資料科學新手也能輕鬆搞定！( Feature Engineering Made Easy. By  Sinan Ozdemir, Divya Susarla ) 之個人讀書筆記。

書中有提供程式碼，請見此 Github Repo，但應該是 Python 2，我下面的程式碼都會改為 Python 3 版本。

特徵工程的評估步驟

  1. 先得到機器學習模型的 baseline performance
  2. 應用特徵工程
  3. 對於每一種特徵工程，獲取一個效能指標並和 baseline 相比較
  4. 如果效能的改進大於某個臨界值 (User defined)，則認為這種特徵工程是有益的，並將其部屬到機器學習模型中
  5. 效能的改變通常是以百分比(%)為計 (如果 baseline performance 是從 40% 準確率變成 76% 準確率的話，改進就是 76-40 / 40 = 90%
評估監督式學習演算法？迴歸通常用 MSE，分類通常用 Accuracy 或是 AUC
評估非監督式學習演算法？主要用 輪廓係數( silhouette coefficient ) 或是用統計檢定的相關係數、t-test、卡方檢定(Chi-squared tests)以及其他方法來評估並量化原始資料以及轉換後的資料的結果

特徵工程的技巧有哪些

  • 特徵理解 : 學習如何辨識定量(數值型)和定性資料(分類型)
  • 特徵改進 : 清洗和填補缺失值
  • 特徵選擇 : 透過統計方法選擇一部分特徵以減少資料雜訊
  • 特徵建構 : 建構新的特徵，探索特徵之間的互動
  • 特徵轉換 : 提取資料中的隱藏結構，利用數學方法轉換資料集、增強效果
  • 特徵學習 : 以深度學習來對資料進行學習，以此來更加地瞭解資料

特徵理解

資料結構分為結構化和非結構化
  • 結構化資料指的是可明確將觀察值(Row)和特徵(Column)分開的資料
  • 非結構化資料指的是不遵守標準結構 (表格) 的資料
通常判斷資料的第一個問題是，資料是定量還是定性的？
事實上，資料可以同時是定量和定性的，為了更明確的去區分開來，通常會分為四個等級
  1. 定類等級 (nominal level) : 第一個等級，結構最弱，屬於定性資料，比如血型的A、B、O、AB，動物物種和人名，通常可以畫出眾數(mode)以及長條圖(bar plot)、圓餅圖來統計
  2. 定序等級 (ordinal level) : 繼承了定類的屬性同時可以用來排序，屬於定性資料，比如考試的成績A, B, C~F，可算出頻率、眾數、中位數、百分位數，不僅可畫出長條和圓餅圖，也可以畫出莖葉圖、盒鬚圖
  3. 定距等級 (interval level) : 屬於定量資料，不僅可以排序，值之間的差異也有意義，也能夠做加減計算，比如溫度。除了頻率、眾數、中位數以外也能算出 mean 和 std，能畫出上面提到的圖以及直方圖 (Histogram)、散佈圖(scatter plot)、折線圖(line plot)，也能將差值做為新的特徵
  4. 定比等級 (ratio level) : 最高等級，擁有最高程度的控制以及數學運算能力，有 0 的概念且能做乘除運算，比如金錢、重量。可以算出 mean 和 std，且最高和最低之間的比值有意義。
實作上可用 Pandas 的 .describe() 來讓他自動判斷定量或是定性

特徵改進

這邊只提定量資料的填補缺失值以及刪除有害資料跟資料的Normalization / Standardization、建構新特徵和轉換資料維度

填補缺失值

通常會補0、unknown 或是 ?
# 檢查是否有缺失值
pima.isnull().sum()
# 對 serum_insulin 這行的缺失值從 0 改為 None
pima['serum_insulin'] = pima['serum_insulin'].map(lambda x:x if x != 0) else None)
# 也可用 for loop 來改掉多個
columns = ['serum_insulin', 'bmi', 'plasma_glucose_concentration']
for col in columns:
   pima[col].replace([0], [None], inplace=True)
# 刪除有害的 col, 直接 drop 掉 NaN 值, 若改為 dropna(0) 則是把 NaN 用0填補
pima_dropped = pima.dropna()   
# 檢查刪掉了多少列
num_rows_lost = round(100*(pima.shape[0] - pima_dropped.shape[0]) / float(pima.shape[0]))
print("retained {}% of rows".format(num_rows_lost))
# 檢查刪除 NaN 前後的差別
# label值的差別
pima['onset_diabetes'].value.counts(normalize=True)
pima_dropped['onset_diabetes'].value.counts(normalize=True)
# 每一行平均值的差別
pima.mean()
pima_dropped.mean()
# 平均值變化百分比
(pima_dropped.mean() - pima.mean()) / pima.mean()
# 用長條圖視覺化變化百分比
ax = ((pima_dropped.mean() - pima.mean()) / pima.mean()
plot(kind='bar', title='% change in average column values')
ax.set_ylabel('% change')
另一個常用的手法是利用該行的平均值或是中位數去填補缺失值
pima['plasma_glucose_concentration'].fillna(pima['plasma_glucose_concentration'].mean(), inplace=True)
但這樣一次只能補一行 （每行平均值不同）因此也可利用 scikit-learn 的 Imputer 來一次做完
from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan,, strategy='mean')
pima_imputed = imputer.fit_transform(pima)  #這會輸出 Numpy array
type(pima_imputed)
pima_imputed = pd.DataFrame(pima_imputed, columns=pima_column_names) # 轉回 DataFrame
pima_imputed.head()
pima_imputed.isnull().sum()
需要注意的是不能在分割資料集之前就做填補，應該要讓訓練資料集與測試資料集都以訓練資料的平均值去填補他們，否則模型就會在訓練之前就事先知道所有資料的平均值是甚麼了，這樣是作弊，對你的模型一點幫助都沒有甚至可能使其學習得更差
# 不正確的流程
from sklearn.model_selection import train_test_split
X = pima[['serum_insulin']].copy()
y = pima['onset_diabetes'].copy()
X_train, X_test, y_train, y_test = train_test_split(X, y, random-state=64)
X.isnull().sum()

entire_data_set_mean = X.mean() # 所有資料集的平均
X = X.fillna(entire_data_set_mean)
print(entire_data_set_mean)
X_train, X_test, y_train, y_test = train_test_split(X, y, random-state=64)

# 正確的流程
from sklearn.model_selection import train_test_split
X = pima[['serum_insulin']].copy()
y = pima['onset_diabetes'].copy()
X_train, X_test, y_train, y_test = train_test_split(X, y, random-state=64)
X.isnull().sum()
training_mean = X_train.mean()  # 訓練資料集的平均
print(training_mean)
X_train = X_train.fillna(training_mean) # 用訓練資料集的平均去填補
X_test = X_test.fillna(training_mean)   # 一樣用訓練資料集的平均去填補
也可以利用 Pipeline 將整個流程簡化
from sklearn.pipeline import Pipeline
from sklearn.model_selection import GridSearchCV
from sklearn.neighbors import KNeighborsClassifier
knn_params = {'classify_n_neighbors' : [1, 2, 3, 4, 5, 6, 7]}
knn = KNeighborsClassifier()
mean_impute = Pipeline([('imputer', SimpleImputer(strategy='mean')), ('classifier', knn)])
X = pima.drop('onset_diabetes', axis=1)
y = pima['onset_diabetes']
grid = GridSearchCV(mean_impute, knn_params)
grid.fit(X,y)
print(grid.best_score_, grid.best_params_)
如果要換成用中位數填補的話就把 mean 都改成 median 即可

標準化和常態化 (Standardization and Normalization)

有些模型會受到資料尺度不同而影響，比說舒張壓介於24到122之間，但年齡是21歲到81歲之，此時模型就較難最佳化。因此通常會做標準化或常態化來緩解這個問題。

常用的有 z-score 、 min-max scale 和 row normalization 三種方法
  • z-score 是將所有資料都減去其平均值並除以標準差得到 z-score
  • min-max 是將所有資料都 mapping 到你所設定的範圍上，通常是 0~1 或是 -1~1
  • row normalization 則是讓每一個 row 都有一樣的 範數(Norm)，比如 L2-Norm
標準化
from sklearn.preprocessing import Normalizer, StandardScaler, MinMaxScaler
# 算出 plasma_glucose_concentration 的平均值和標準差
pima['plasma_glucose_concentration'].mean(), pima['plasma_glucose_concentration'].std()
# 畫出直方圖
ax = pima['plasma_glucose_concentration'].hist()
ax.set_title('Distribution of plasma_glucose_concentration')
# z-score 標準化
glucose_z_score_standardized = StandardScaler().fit_transform(pima[['plasma_glucose_concentration']])
# 做完之後平均值會等於0，而標準差會等於1
glucose_z_score_standardized.mean(), glucose_z_score_standardized.std()
# 畫出做完 z-score 後的直方圖
ax = pd.Series(glucose_z_score_standardized.reshape(-1,)).hist()
ax.set_title('Distribution of plasma_glucose_concentration after Z Score Scaling')

# MinMax 標準化, 預設是 mapping 到 0~1之間
glucose_min_max_standardized = MinMaxScaler().fit_transform(pima[['plasma_glucose_concentration']])
glucose_min_max_standardized.mean(), glucose_min_max_standardized.std()
# 畫出做完 min_max 後的直方圖
ax = pd.Series(glucose_min_max_standardized.reshape(-1,)).hist()
ax.set_title('Distribution of plasma_glucose_concentration after Min Max Scaling')

# 如果要一次對所有的資料都做標準化並畫出來
scale = StandardScaler()  # instantiate a z-scaler object
pima_imputed_mean_scaled = pd.DataFrame(scale.fit_transform(pima_imputed_mean), columns=pima_column_names)
pima_imputed_mean_scaled.hist(figsize=(15, 15), sharex=True)
常態化
from sklearn.preprocessing import Normalizer
normalize = Normalizer()
pima_normalized = pd.DataFrame(normalize.fit_transform(pima_imputed), columns=pima_column_names)
# 做完常態化之後所有  row 的範數會都是1，其平均當然也會是 1
print(np.sqrt((pima_normalized**2).sum(axis=1)).mean())

# pipeline 版本
knn_params = {'imputer__strategy': ['mean', 'median'], 'classify__n_neighbors':[1, 2, 3, 4, 5, 6, 7]}
mean_impute_normalize = Pipeline([('imputer', Imputer()), ('normalize', Normalizer()), ('classify', knn)])
X = pima.drop('onset_diabetes', axis=1)
y = pima['onset_diabetes']
grid = GridSearchCV(mean_impute_normalize, knn_params)
grid.fit(X, y)
print(grid.best_score_, grid.best_params_)
受資料尺度而影響的機器學習演算法比如
  • KNN、K-Means : 因為依賴於歐幾里得距離
  • Logistic Regression、SVM、神經網路 : 如果利用梯度下降來學習的話就會受影響
  • PCA : 特徵向量會偏向尺度較大的 Column
PCA 可參考我所寫的機器學習降維方法整理筆記 HackMD連結

特徵建構

包含檢查資料、填補分類特徵、編碼分類特徵、擴展數值特徵

檢查資料是指把資料印出來，填補分類特徵是用 isnull().sum() 來檢查是否有缺失值，並且用自定義的 Imputer 來填補

編碼分類特徵是指把資料變成 dummy variable，並且記得要避免 dummy variable trap
  • 比如 female 和 male 都可以編碼成 0 或是 1，這時候就要利用 pd.get_dummies 寫死
至於定序的特徵 (有順序性關係的，比如喜歡、有些人喜歡以及不喜歡可以編碼成 2, 1, 0)
則是可以用 mapping 的方式編碼，或是就在讀取的時候定義好即可，如下

X = pd.DataFrame({'city':['tokyo', None, 'london', 'seattle', 'san francisco', 'tokyo'], 'boolean':['yes', 'no', None, 'no', 'no', 'yes'], 'ordinal_column':['somewhat like', 'like', 'somewhat like', 'like', 'somewhat like', 'dislike'], 'quantitative_column':[1, 11, -.5, 10, None, 20]})
最後是對連續型特徵分箱，可以利用 pd.cut 達成

擴展數值特徵這段是在講要結合特徵，這部分可以先透過觀察資料來達成，比如下圖就表示只要猜7就可以達到51%的正確率
另一個例子是產生多項式特徵，有degree，多項式的指數、interaction_only，是否只產生互相影響的特徵的布林，以及inclue_bias，是否產生指數為0特徵的布林這三個重要參數可以調整

特徵選擇

包含特徵選擇、特徵改進

特徵選擇以及改進有基於統計的 Pearson 相關係數，可以產生相關矩陣來讓它們看出相關係數最高的特徵，利用pd.corr()達成還有假設檢定的 sklearn.SelectKBest

基於模型的特徵選擇則是有決策樹之類的，比如我曾經寫給同學看的鐵達尼號特徵排序repo，另外也可以用線性回歸、SVM去選擇特徵，可以利用 sklearn 的 SelectFromModel 來選

特徵轉換

Summary of machine learning pipeline : EDA -> Feature Understanding -> Feature improvement -> Feature Comstruction -> Feature Selection

這部分主要是在講降維，比如上面有提過的 PCA 以及 中心化和縮放 (也就是StandardScaler)對 PCA 的影響，書中有做一個實驗是比較有中心化跟沒中心化的 PCA 差別，結論是有一點的差別，可以都做看看並且測試

另外一個有提到的就是 LDA，它有5個步驟
  1. 計算每個類別的平均值
  2. 計算類別內跟類別之間的散布矩陣
  3. 計算特徵值跟特徵向量
  4. 降冪排序特徵值，保留前 k 個特徵向量
  5. 使用前幾個特徵向量將資料投影到新空間

特徵學習

這是本書的最後一章，特別的是這邊的主題是RBM，受限波爾茲曼機。
實際上這是真正意義上的神經網路起源模型，因為神經網路是從 Hinton 的深度信念網路(Deep Belief Network, DBN) 而來，而 DBN 就是把 RBM 疊起來而成的網路

留言

張貼留言

這個網誌中的熱門文章

為什麼只能在訓練資料上平衡不平衡的資料集? Why should you deal with an imbalanced dataset only on training data?

圖片
最近有位同學向我詢問一些資料競賽相關的內容，剛好發現他在程式上犯了這個初心者可能會犯的常見錯誤，也就是將 SMOTE (Synthetic Minority Oversampling Technique) 這種針對不平衡資料集  (imbalanced Dataset)  產生資料來讓其平衡的相關演算法應用在整個資料集上，而非只用在訓練資料集上。 目前的數據分析相關競賽通常都是給參賽者一些不平衡的資料集或者是特徵非常多的資料集(通常多達上百個特徵，尤其是金融相關競賽)，此時初學者也常常會查詢到像是  Imblearn  這種專門處理不平衡資料及的套件使用。但其實無論是上採樣或者下採樣又抑或是混合上下採樣的方法， 它們其實都只能應用在訓練資料上，不能直接對整個資料集做平衡。 錯誤的使用會造成模型 作弊 ，並訓練出非常非常高的準確率，但實際上表現完全不好，就像過擬合(Overfitting)發生的時候那樣。 平衡資料集的方法 在面對上圖這種不平衡資料集時，基本上會有上採樣 (Oversampling) 和下採樣(Undersampling) 兩種方法可以使資料集平衡。上採樣指的是把資料少的類別複製幾份，直到兩類資料平衡。下採樣會將資料多的類別資料數減少或者是只從中選取少數資料出來代表這個類別。常見的方法有上採樣的 ADASYN、SMOTE、BorderlineSMOTE，還有結合上下採樣的 SMOTEENN，可參考 imblearn API doc 。 總之無論是使用哪種方法，都可以預期會得到下圖這樣平衡的資料集。 為什麼不可以直接平衡整個資料集呢? 為了回答這個問題，得先知道為什麼資料分割的獨立性是必須優先在所有方法之上的。這裡借用 Google 的 MLCC(Machine Learning Crash Course)  教材來講解。 當你拿到一份資料並想對其使用機器學習演算法來解決你的任務時，至少得將資料分割為訓練資料 (Training Set) 與測試資料 (Test Set)，訓練資料是用來教你的模型從x推理到y，測試資料是用來測試這個訓練資料所訓練出來的模型在沒有見過的資料 (unseen data) 上表現如何，測試資料得必須與訓練資料 完全沒有交集， 否則就等於是數學老師直接在上課的時候告訴你期中考的題目和答案，也就是會造成作弊的情形發生。這不僅完全無
Read more »

十種常見的軟體架構模式 10 Common Software Architectural Patterns

圖片
剛升上大四，發現大四的課程開始接觸到許多各種不同的領域，像是 Mobile App 這種跟 OOP 密不可分的領域，剛好這周談到軟體架構相關的東西，像是 MVC(Model-View-Controller) 之類的，讀起來蠻有趣的，同時有點好奇這種軟體架構有沒有一個大補帖可以一窺究竟，於是就爬了幾篇文之後，著手撰寫了這篇文章。 首先，架構模式 (architectural patterns) 與軟體工程的設計模式 (design patterns) 有些類似，兩者都是為了解決一些常見的軟體問題，但前者更為廣泛，且較能重複應用。我認為前者較有"架構"的感覺，也就是可重複使用性較高。前者的架構可以是跨領域應用的，而後者比較像是在某種情況下可以使用哪種模型。 軟體架構模式有以下10種常見的模式: 1. Layered pattern 最經典的例子就是網路的 OSI 七層設計 另外還有我曾在系統分析與設計學到的Three-layer  architecture 分別是View layer、logic layer、Data layer View layer : 系統的UI、外觀 logic layer: 功能的實作層 data layer : 存取資料的function 至於常見的應用當然是 Web application，以 Chrome 手機版為例，打開來看到的所有功能像是輸入網址欄、最近的瀏覽紀錄、左上的首頁按鈕等等都屬於 view layer，至於 logic layer 則是使用者開始在網址欄中輸入後對你所搜尋的事物的預測，比如輸入了"天氣"，則會跑出像是天氣預報的推薦搜尋，當然還有按下搜尋後，根據使用者的輸入來推測他想查詢的是甚麼，這都屬於在實作這個搜尋功能。最後，Data layer 是介於資料庫與軟體之間的中介，Google 搜尋若想顯示出在 logic layer 的那些推薦搜尋，勢必得從他們的資料庫中調出關於使用者的資料還有較為宏觀的搜尋資料，只要是需要跟資料庫作互動的都屬於data layer。 2. Client-server pattern 這個模式可能是最常見的但也最簡單，就只有客戶端與伺服器端。客戶端作為主動方提出服務的要求，而伺服器端被動接收 到之後負責提供服務給客戶端。 最常見的應用就是瀏覽網站。當瀏覽
Read more »

如何得到和 Anaconda 的 Jupyter Notebook 一樣的使用者體驗但卻不需安裝 Anaconda ?

圖片
 身為一個資料科學家或是機器學習工程師，Jupyter Notebook 是必不可少的好用工具，而 Anaconda 則是在入門這個領域的時候為了減少痛苦而安裝的一個龐大軟體。 但實際上大部分時候我們只需要 Anaconda 中的 Jupyter Notebook，而不是它內含的其他東西以及Python 環境選擇 (我不如用 pipenv...)，若是你像我一樣希望捨棄笨重的 Anaconda，但又希望獲得同樣的體驗，而不是每次都要打開 terminal，輸入 Jupyter Notebook 才能打開的話，這篇會是一篇適合你閱讀的文章。 Anaconda 上的體驗是怎樣的? 若是以只使用 Jupyter Notebook 為前提的話，它主要的方便在於安裝 Anaconda 之後會自動產生一個 Jupyter Notebook 的捷徑在開始工具欄，當你需要使用的時候就直接點開就好。而不用打開 terminal 打字什麼的。 (我很在意這個所以一直被 Anaconda 綁架......)  除此之外，Anaconda 的 Jupyter Notebook 路徑是固定的，每次開啟都會在 username 那個資料夾裡面，所以我得因此被其綁架而得把所有資料和 Notebook 都放在那個資料夾裡面。 所以，接下來就要開始如何將 Jupyter Notebook 以一個有 icon 的桌面捷徑開啟而且還可以基於開啟的路徑而開啟的教學。 安裝 Jupyter Notebook pip install notebook 建立 Jupyter Notebook 捷徑 首先要在桌面上右鍵新增 -> 建立捷徑，然後在項目位置中打入  cmd /k "jupyter notebook" ， 如下圖。 然後就將捷徑命名為 jupyter notebook，或是其他你喜歡的名字，像是 AI 煉蠱場之類的。 這串項目位置的意思是當點擊這個捷徑的時候會做兩個動作 :   1. 打開 cmd   2. 自動打入 jupyter notebook 改變 Jupyter Notebook Icon 這步很簡單，總之就是去下載 jupyter notebook 的 icon (記得轉成 .ico 檔名)，然後儲存在電腦中的某一處。接下來只要右鍵點開 -> 內容
Read more »