Переоснащение в машинном обучении — это распространенное явление, при котором модель или алгоритм настолько хорошо соответствуют обучающим данным, что не могут обобщать новые данные. Это происходит, когда модель слишком сложна и содержит слишком много параметров или функций по сравнению с объемом данных. Он имеет тенденцию описывать шум в данных, а не основной сигнал, что приводит к высокой точности обучающих данных, но к низкой производительности на невидимых данных.
Переобучение может быть вызвано рядом факторов, в том числе наличием слишком сложных моделей, которые не отражают основные тенденции в данных, или наличием слишком большого количества функций по сравнению с объемом доступных обучающих данных. Это также может быть вызвано использованием моделей, которые обеспечивают слишком большую гибкость, например, с полиномиальными отношениями или отношениями более высокого порядка между функциями. Переобучение может привести к созданию моделей, которые будут чрезмерно чувствительны к конкретным точкам данных и, следовательно, не смогут обобщить будущие данные.
Чтобы предотвратить переобучение, необходимо поддерживать низкую сложность модели, намеренно удаляя определенные функции или используя методы регуляризации. Такие методы также могут внести дополнительную погрешность в модель, но это все же может быть предпочтительнее, чем переобучение. Перекрестная проверка также может использоваться для определения того, когда модель начинает переопределять данные. Важно хранить набор проверки отдельно от обучающих данных, поскольку его можно использовать для проверки точности модели. Наконец, для дальнейшего снижения вероятности переобучения можно использовать ансамблевые методы, такие как повышение.
