Что такое параметр Альфа в Ридж регрессии?
Может кто-нибудь дать мне понятное объяснение параметра Alpha в регрессии хребта SKlearn? Как это влияет на функцию и т. Д.? Примеры будут полезны :)
Всего 1 ответ
Хребетная регрессия минимизирует целевую функцию: ||y - Xw||^2_2 + alpha * ||w||^2_2
Эта модель решает регрессионную модель, где функция потерь является линейной функцией наименьших квадратов, а регуляризация задается l2-нормой. Проще говоря, alpha является параметром того, сколько регрессии гребня пытается предотвратить переоснащение !
Допустим, у вас есть три параметра W = [w1, w2, w3] . В ситуации переоснащения функция потерь может соответствовать модели с W=[0.95, 0.001, 0.0004] что означает, что она сильно смещена к первому параметру. Тем не менее, alpha * ||w||^2_2 увеличивает функцию потерь в этих случаях и пытается сохранить все параметры в некотором роде границ, чтобы предотвратить переобучение. Например, с регуляризатором W может быть W=[0.5, 0.2, 0.33] . Когда вы увеличиваете alpha вы продвигаете регрессию Риджа, чтобы быть более устойчивой к переоснащению, но, возможно, получаете большую ошибку обучения.