少なくとも回帰モデルについては、「モデル」「推定法」「アルゴリズム」「評価法」を分けて考えると整理しやすいかと思います。あくまで一例ですが
モデル:線形 or ロジスティック
推定法:最小2乗法 or ridge or lasso
アルゴ:解析計算 or Newton法
評価法:CV or AIC
みたいな感じです。
The Bias-Variance Trade-Off & "DOUBLE DESCENT" 🧵
Remember the bias-variance trade-off? It says that models perform well for an "intermediate level of flexibility". You've seen the picture of the U-shape test error curve.
We try to hit the "sweet spot" of flexibility.
1/🧵