超參數調校的藝術與科學：掌握機器學習中的模型最佳化

理解超參數：機器學習的控制旋鈕

超參數是控制機器學習模型如何學習的設定設定。與模型參數（如神經網路中的權重）在訓練過程中學習不同，超參數必須在訓練開始前就設定好。這些設定控制著模型複雜度、學習速度和正則化強度等面向。

常見的例子包括神經網路中的學習率、決策樹的最大深度，以及支援向量機中的正則化參數 C。挑戰在於找到這些設定的最佳組合——這個過程可以顯著影響模型效能，有時能將準確率提升 5-20% 甚至更多。

超參數調校至關重要，因為預設值很少能為特定資料集或問題產生最佳結果。如機器學習研究所指出，機器學習工作的很大一部分涉及在實際訓練開始前的資料準備和模型設定。調校過程雖然有時繁瑣，但屬於這個關鍵準備階段的一部分。

建立基礎：從基準模型開始

在深入複雜的調校技術之前，先建立一個使用預設超參數的基準模型。這種方法有幾個好處：

1. 參考點：基準為你提供衡量改進的標竿。
2. 問題理解：幫助你理解問題的基本動態。
3. 效率：透過識別簡單模型是否能充分解決問題來節省資源。

以下是使用 scikit-learn 決策樹分類器的簡單範例：

from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
# 載入資料
data = load_iris()
X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2, random_state=25)
# 使用預設參數初始化模型
model = DecisionTreeClassifier()
# 訓練模型
model.fit(X_train, y_train)
# 預測和評估
y_pred = model.predict(X_test)
baseline_accuracy = accuracy_score(y_test, y_pred)
print(f'基準準確率: {baseline_accuracy:.2f}')

這個基準作為你的起點。從這裡開始，你可以系統性地探索改變不同超參數如何影響效能。

超參數調校技術：從簡單到複雜

1. 網格搜尋配合交叉驗證

網格搜尋是一種系統性方法，會詳盡測試所有預定義超參數值的組合。結合交叉驗證時，它能在不同資料分割上提供穩健的模型效能評估。

from sklearn.model_selection import GridSearchCV
from sklearn.tree import DecisionTreeClassifier
# 定義超參數網格
param_grid = {
    'criterion': ['gini', 'entropy'],
    'max_depth': [None, 10, 20, 30],
    'min_samples_split': [2, 5, 10]
}
# 設定網格搜尋配合交叉驗證
grid_search = GridSearchCV(DecisionTreeClassifier(), param_grid, cv=5, scoring='accuracy')
grid_search.fit(X_train, y_train)
# 取得最佳參數和分數
best_params_grid = grid_search.best_params_
best_score_grid = grid_search.best_score_
print(f'最佳參數 (網格搜尋): {best_params_grid}')
print(f'最佳交叉驗證分數 (網格搜尋): {best_score_grid:.2f}')

網格搜尋很徹底但計算成本高，特別是在大型超參數空間中。對於有許多超參數的模型，組合數量可能呈指數增長，使這種方法變得不實用。

2. 隨機搜尋進行初步探索

由 Bergstra 和 Bengio 在 2012 年提出的隨機搜尋，提供了比網格搜尋更有效率的替代方案。它不測試所有組合，而是從超參數空間中隨機取樣，通常能以較少的迭代次數找到好的解決方案。

from sklearn.model_selection import RandomizedSearchCV
import numpy as np
# 定義超參數分佈
param_dist = {
    'criterion': ['gini', 'entropy'],
    'max_depth': [None] + list(range(10, 31)),
    'min_samples_split': range(2, 11),
    'min_samples_leaf': range(1, 11)
}
# 設定隨機搜尋配合交叉驗證
random_search = RandomizedSearchCV(DecisionTreeClassifier(), 
                                  param_dist, 
                                  n_iter=100, 
                                  cv=5, 
                                  scoring='accuracy')
random_search.fit(X_train, y_train)
# 取得最佳參數和分數
best_params_random = random_search.best_params_
best_score_random = random_search.best_score_
print(f'最佳參數 (隨機搜尋): {best_params_random}')
print(f'最佳交叉驗證分數 (隨機搜尋): {best_score_random:.2f}')

研究顯示隨機搜尋在高維空間中特別有效，因為它能更有效率地探索只有少數超參數顯著影響效能的區域。在探索新模型或資料集時，通常建議將其作為首選方法。

3. 驗證曲線視覺化

理解個別超參數如何影響模型效能能提供寶貴的洞察。驗證曲線有助於視覺化這種關係，讓識別潛在的過度擬合或欠擬合變得更容易。

from sklearn.model_selection import validation_curve
from sklearn.ensemble import RandomForestClassifier
import matplotlib.pyplot as plt
import numpy as np
# 定義超參數範圍
param_range = [10, 100, 200, 400, 800, 1000]
# 計算驗證曲線
train_scores, test_scores = validation_curve(
    RandomForestClassifier(), X_train, y_train,
    param_name="n_estimators", param_range=param_range,
    cv=5, scoring="accuracy")
# 計算平均值和標準差
train_mean = np.mean(train_scores, axis=1)
train_std = np.std(train_scores, axis=1)
test_mean = np.mean(test_scores, axis=1)
test_std = np.std(test_scores, axis=1)
# 繪製驗證曲線
plt.plot(param_range, train_mean, label="訓練分數", color="r")
plt.fill_between(param_range, train_mean - train_std, train_mean + train_std, color="r", alpha=0.3)
plt.plot(param_range, test_mean, label="交叉驗證分數", color="g")
plt.fill_between(param_range, test_mean - test_std, test_mean + test_std, color="g", alpha=0.3)
plt.title("隨機森林驗證曲線")
plt.xlabel("估計器數量")
plt.ylabel("準確率")
plt.legend(loc="best")
plt.show()

這些視覺化可以揭示收益遞減，幫助你識別何時進一步調校可能不值得計算成本。它們也有助於檢測過度擬合，這發生在訓練分數持續改善而驗證分數趨於平穩或下降時。

4. 貝氏最佳化進行高效搜尋

對於具有昂貴評估函數或大型超參數空間的模型，貝氏最佳化提供了更有效率的替代方案。這種方法使用機率模型來預測哪些超參數組合可能產生最佳結果，將計算資源集中在有希望的區域。

from skopt import BayesSearchCV
from sklearn.tree import DecisionTreeClassifier
# 為貝氏最佳化定義超參數空間
param_space = {
    'criterion': ['gini', 'entropy'],
    'max_depth': [None] + list(range(10, 31)),
    'min_samples_split': (2, 10),
    'min_samples_leaf': (1, 10)
}
# 貝氏最佳化
opt = BayesSearchCV(DecisionTreeClassifier(), 
                    param_space, 
                    n_iter=32, 
                    cv=5, 
                    scoring='accuracy')
opt.fit(X_train, y_train)
best_params_bayes = opt.best_params_
best_score_bayes = opt.best_score_
print(f'最佳參數 (貝氏最佳化): {best_params_bayes}')
print(f'最佳交叉驗證分數 (貝氏最佳化): {best_score_bayes:.2f}')

貝氏最佳化在實務上展現了令人印象深刻的結果，通常能以比網格或隨機搜尋顯著更少的評估次數找到最佳超參數。根據研究，貝氏方法可以在短短 67 次迭代中找到最佳超參數，遠遠超越複雜模型的傳統方法。如果你有興趣了解更多貝氏方法，可以參考Bayesian Optimization。

AutoML：超參數調校的未來

隨著機器學習持續演進，自動化機器學習（AutoML）已成為簡化開發流程的強大方法。AutoML 平台自動化機器學習管線的許多面向，包括超參數調校。對於實務實作，可以考慮High-performance Algorithmic Trading using Machine Learning，其中深入涵蓋了 AutoML。

主要雲端 AutoML 服務

Google Vertex AI

Google 的 Vertex AI 將 Google 的機器學習服務整合到單一平台中，簡化了機器學習工作流程。它支援表格、圖像、文字和影片資料，並提供 AutoML 功能和自訂模型開發工具。

主要功能包括：

• 整合的 Jupyter Notebook 環境
• 端到端 MLOps 功能
• 支援各種資料類型和機器學習任務
• 為非專家提供易用的拖放介面

Amazon SageMaker Autopilot

AWS SageMaker Autopilot 使用你提供的資料自動建立、訓練和調校模型。模型可以一鍵部署到 AWS 生產環境中。

主要功能包括：

• 自動資料預處理和特徵工程
• 演算法選擇和超參數最佳化
• 支援表格資料和時間序列預測
• 與更廣泛的 AWS 生態系統整合

Microsoft Azure AutoML

Microsoft Azure 的 AutoML 為模型開發提供程式碼優先和無程式碼介面。它支援廣泛的演算法，可以處理從分類和回歸到時間序列預測和自然語言處理的任務。

主要功能包括：

• 超過 30 種演算法用於各種機器學習任務
• 具有 BERT 模型的進階自然語言處理功能
• 自動特徵工程和模型選擇
• 預覽中的電腦視覺功能

企業級 AutoML 平台

除了主要雲端供應商外，幾個企業平台提供全面的 AutoML 功能：

H2O Driverless AI

H2O.ai 的 Driverless AI 簡化機器學習工作流程的每個步驟，從自動資料類型檢測到模型文件。它強調機器學習可解釋性，提供視覺化技術來解釋模型結果。

DataRobot AutoML

DataRobot 是 AutoML 的先驅，可處理結構化和非結構化資料。它專注於 AI 可解釋性，提供視覺化洞察來幫助使用者理解哪些特徵影響預測。

Databricks AutoML

基於 Apache Spark 和 MLflow 建構，Databricks AutoML 專精於大數據分析。雖然與其他平台相比有一些限制（如對非結構化資料的支援有限），但在大規模資料處理方面表現出色。

何時使用 AutoML 與手動調校

雖然 AutoML 平台提供顯著優勢，但它們並非總是最佳選擇。在決定自動化和手動方法時，請考慮這些因素：

AutoML 適用於：

1. 處理結構化資料和監督式學習：大多數 AutoML 工具在表格資料和分類/回歸任務上表現出色。
2. 需要快速原型或概念驗證：AutoML 可以快速產生可運作的模型來展示可行性。
3. 機器學習專業知識有限：這些平台讓沒有豐富資料科學背景的人也能使用機器學習。

手動調校可能更好的情況：

1. 使用非監督式學習探索資料：大多數 AutoML 平台專注於監督式學習，使它們較不適合聚類和其他非監督式任務。
2. 處理深度學習模型：雖然 AutoML 正在擴展到深度學習領域，但計算成本可能過高，而熟練的資料科學家通常能透過手動調校獲得更好的結果。對於實作深度學習，可以考慮Deep Learning with Python, Second Edition。
3. 解決需要領域專業知識的複雜問題：AutoML 無法像人類專家一樣融入專業領域知識。

有效超參數調校的實用技巧

無論你使用自動化工具還是手動方法，這些最佳實務都能改善你的超參數調校過程：

1. 在探索複雜模型之前先從簡單模型開始。在深入複雜技術之前先理解問題基礎。
2. 首先專注於最有影響力的超參數。並非所有超參數都有相同的影響。對於神經網路，學習率通常最重要；對於樹狀模型，深度和樣本閾值通常有最大影響。
3. 對某些超參數使用對數尺度。像學習率這樣的參數在對數尺度（例如 0.001、0.01、0.1）上探索通常比線性尺度效果更好。
4. 在調校過程中監控過度擬合。驗證曲線可以幫助識別模型對資料來說是否變得過於複雜。
5. 徹底記錄你的實驗。追蹤你嘗試過的內容和結果，因為這些資訊可以指導未來的調校工作。
6. 考慮計算權衡。在追求最佳效能與廣泛調校的計算成本之間取得平衡。
7. 適當時使用早期停止。許多模型可以從在驗證集上的效能停止改善時停止訓練中受益，節省計算資源。

結論

超參數調校既是藝術也是科學，結合了系統性探索與直覺和領域專業知識。雖然自動化工具持續進步，讓機器學習比以往更容易接觸，但理解超參數調校的基礎對任何從事機器學習工作的人來說仍然很有價值。對於使用 scikit-learn 的實務實作綜合指南，可以考慮Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow。

無論你使用網格搜尋、隨機搜尋、貝氏最佳化還是 AutoML 平台，目標都是一樣的：找到讓你的模型能從資料中最有效學習的設定。透過遵循本指南中概述的方法，你可以系統性地改善模型效能，並從機器學習專案中提取更多價值。

記住，超參數調校只是機器學習拼圖的一塊。資料品質、特徵工程和模型選擇在建立有效的機器學習系統中都扮演關鍵角色。最佳結果通常來自對每個元素給予適當關注，而不是專注於超參數最佳化。

在你繼續機器學習之旅時，嘗試不同的調校方法，從每次迭代中學習，並逐漸培養對哪些超參數對你的特定問題最重要的直覺。透過練習和堅持，你將掌握超參數調校的藝術，並建立越來越強大的模型。