라벨 평활화(Label Smoothing)는 지나치게 확신하는 예측에만 의존하는 대신 이전에 관찰된 라벨 근처에서 예측을 개발하여 학습 프로세스를 정규화하기 위해 기계 학습 분야에서 사용되는 기술입니다. 이 기술은 레이블의 확률 분포에 균일성을 도입하여 예측에 대한 과도한 신뢰의 영향을 줄입니다. 레이블 평활화의 주요 목표는 모델의 과적합을 줄이고 예측의 일반화를 개선하는 것입니다.
레이블 평활화는 신경망 모델과 함께 사용되는 경우가 많습니다. 이는 결정의 선명도를 감소시키고 확실한 극단으로부터 예측을 밀어냄으로써 정규화 효과를 제공합니다. 이는 하드 라벨(예: 0 또는 1)을 어느 정도 연속성을 갖는 확률 분포로 대체하여 수행됩니다. 예를 들어 이진 분류 작업에서는 거의 확실성을 나타내기 위해 1이라는 레이블이 0.9의 확률로 대체됩니다.
레이블 평활화는 일부 데이터 세트에 존재하는 경향이 있는 악명 높은 긴 꼬리 분포의 영향을 완화하는 데 사용될 수도 있습니다. 레이블을 평활화하면 신뢰할 수 있는 예측이 제한되고 클래스 간의 날카로운 모서리가 흐려집니다.
레이블 평활화는 예측에 대한 과도한 신뢰도를 줄이고 정확하지 않을 수 있는 확실한 예측에 불이익을 주기 때문에 모델의 일반화 기능을 향상시키는 데 효과적일 수 있습니다. 그러나 라벨 스무딩은 데이터세트와 현재 문제에 따라 달라지므로 향상된 정확성을 보장하지 않는다는 점에 유의해야 합니다.
전반적으로 레이블 평활화는 예측에 대한 과도한 신뢰도를 줄여 모델의 일반화 기능을 향상시키는 데 사용되는 정규화 기술입니다. 이는 신경망 모델과 함께 사용하여 과신한 예측의 영향을 줄이고 일부 데이터 세트에 존재하는 긴 꼬리 분포의 영향을 줄일 수 있습니다.
