はじめに

性能は、機械学習モデルの評価と比較に不可欠です。これらは、入力データに基づいて結果を予測するモデルの効果を客観的に判断する方法を提供します。これらの評価指標は、異なるアルゴリズムの強みや弱点を特定するだけでなく、特定のタスクに最適なモデルを選択するためのガイドともなります。さらに、性能評価指標は、モデル選択、ハイパーパラメータの調整、およびトレーニングプロセスの潜在的な問題の診断にも役立ちます。

機械学習の問題は、大きく2つのカテゴリに分類できます。回帰と分類です。回帰問題は連続値の予測を、分類問題は離散的なラベルやカテゴリの予測を行います。

回帰問題と分類問題の性能評価指標は、それぞれの予測の性質によって異なります。回帰評価指標は予測値と実際の値の差に焦点を当て、分類評価指標は入力データを事前定義されたカテゴリに正しく分類できるかどうかを評価します。

この記事では、回帰問題の一般的な性能評価指標について説明します。

回帰問題の評価指標

回帰問題は、入力データに基づいて連続値を予測する問題です。この章では、回帰タスクでもっとも一般的に使用される性能評価指標について説明し、機械学習モデルの効果を評価する方法について示します。

平均絶対誤差 (MAE)

平均絶対誤差は、予測値と実際の値の絶対値の差の平均を計算する単純な評価指標です。MAEは予測値が実際の値からどの程度離れているかを示し、より低いMAEはより優れたパフォーマンスを示します。MAEの式は次のとおりです。

MAE = \frac{1}{n}\sum_{i=1}^{n} |y_i - \hat{y}_i|\

ここで、y_iは実際の値を、\hat{y}_iは予測値を表し、nはサンプル数です。

平均二乗誤差 (MSE)

平均二乗誤差は、予測値と実際の値の二乗誤差の平均を測定する評価指標です。誤差を二乗することで、MSEは大きな偏差をより厳しくペナルティを課し、MAEよりも外れ値に敏感になります。MSEの式は次のとおりです。

MSE = \frac{1}{n}\sum_{i=1}^{n} (y_i - \hat{y}_i)^2

平方根平均二乗誤差 (RMSE)

平方根平均二乗誤差は、MSEの平方根です。予測値と実際の値と同じ単位で平均誤差の推定値を提供するため、解釈が容易になります。RMSEの式は次のとおりです。

RMSE = \sqrt{\frac{1}{n}\sum_{i=1}^{n} (y_i - \hat{y}_i)^2}

R二乗値

R二乗値は、従属変数の分散のうち、独立変数によって予測できる部分の割合を測定する係数で、0から1までの範囲を取ります。高い値はより優れたモデルのパフォーマンスを示します。R二乗値の式は次のとおりです。

R^2 = 1 - \frac{\sum_{i=1}^{n} (y_i - \hat{y}_i)^2}{\sum_{i=1}^{n} (y_i - \bar{y})^2}

ここで、\bar{y}は実際の値の平均値です。

調整済みR二乗値

調整済みR二乗値は、モデル内の予測変数の数を考慮したR二乗値の拡張版であり、複数の予測変数がある場合に特にモデルのパフォーマンスをより正確に評価します。調整済みR二乗値の式は次のとおりです。

\bar{R}^2 = 1 - \frac{(1 - R^2)(n - 1)}{n - p - 1}

ここで、nはサンプル数、pは予測変数の数、R^2はR二乗値です。

平均絶対パーセンテージ誤差 (MAPE)

平均絶対パーセンテージ誤差は、予測値と実際の値の絶対パーセンテージ誤差の平均を計算する評価指標です。異なるスケールや単位のエラーを比較する場合に役立ちます。MAPEの式は次のとおりです。

MAPE = \frac{1}{n}\sum_{i=1}^{n} \left|\frac{y_i - \hat{y}_i}{y_i}\right| \times 100\%

中央値絶対偏差 (MAD)

中央値絶対偏差は、予測値と実際の値の絶対偏差の中央値を計算するロバストな評価指標です。MAEよりも外れ値に対して敏感性が低く、データに極端な値が含まれている場合に有用な代替手段となります。MADの式は次のとおりです。

MAD = \text{median}(|y_1 - \hat{y}_1|, |y_2 - \hat{y}_2|, \dots, |y_n - \hat{y}_n|)

参考

https://neptune.ai/blog/performance-metrics-in-machine-learning-complete-guide
https://www.javatpoint.com/performance-metrics-in-machine-learning
https://www.altexsoft.com/blog/machine-learning-metrics/