Бэггинг, также известный как бутстрап-агрегация, представляет собой метод ансамбля машинного обучения, который объединяет нескольких учащихся для уменьшения дисперсии и улучшения обобщения. Обычно это реализуется для повышения эффективности методов обучения с учителем. При пакетировании создаются подвыборки всего набора данных с заменой, и каждая модель обучается на другой подвыборке. Затем результаты нескольких моделей объединяются для формирования окончательного прогноза.
Идея объединения в пакеты состоит в том, чтобы уменьшить дисперсию модели прогнозирования. Под дисперсией понимается степень, в которой выходные данные модели прогнозирования будут отличаться в зависимости от разных наборов данных. Высокая дисперсия может привести к переоснащению, что означает, что модель слишком чувствительна к небольшим изменениям во входном наборе данных. Пакетирование позволяет уменьшить дисперсию за счет взятия нескольких выборок данных и обучения на них нескольких моделей. Модели учитывают присущую прогнозам неопределенность, а точки данных, которые имеют большее влияние, усредняются по всем моделям. Это уменьшает дисперсию и предотвращает проблемы, связанные с необобщаемыми функциями.
Бэггинг обычно используется в сочетании с алгоритмами на основе дерева решений, а также может применяться к другим формам машинного обучения. Наиболее эффективен, когда имеется большое количество обучающих примеров и когда для эффективного принятия решений необходимы лишь некоторые из них. Пакетирование также можно использовать для уменьшения эффекта переобучения за счет уменьшения количества параметров в алгоритме.
Бэггинг оказался очень мощным методом повышения точности и эффективности обобщения моделей машинного обучения. Хотя это не всегда необходимо, это экономически эффективный способ получить максимальную отдачу от набора данных.
Источники:
Бирхану, Н.; Доши, В.; Мишра, Б. (2017). Введение в ансамблевую технику. Журнал больших данных, 4 (4). doi:10.1186/s40537-017-0075-z.
Суганти, Р.; Кришнавени, Г. (2016). Бэггинг: мощный ансамблевый метод для повышения точности алгоритмов классификации. Международный журнал компьютерных приложений, 135 (4). Получено с https://pdfs.semanticscholar.org/e7de/ebda0f0d6f145d82a7e8cef6864b1e00e2b4.pdf.
