데이터 전처리는 컴퓨터 알고리즘 및 프로그램에 사용할 데이터를 준비하는 데 사용되는 일련의 기술입니다. 이는 데이터 마이닝 프로세스의 기본 단계이며 추가 처리를 위한 데이터 선택, 정리, 통합, 변환 및 추출이 포함됩니다.
데이터 전처리는 여러 활동을 수반하는 절차입니다. 이러한 활동에는 데이터 정리, 정규화, 변환 및 데이터 양 감소가 포함됩니다. 목표는 컴퓨터 알고리즘에 쉽게 입력할 수 있는 형식으로 일관된 고품질 데이터를 보유하는 것입니다.
데이터 정리는 누락된 값을 제거하거나 채우고, 데이터의 원래 형식과 일치하지 않는 데이터를 제거하고, 이상값을 제거합니다. 정규화는 여러 변수의 값을 0에서 1 또는 -1에서 +1과 같은 공통 척도로 변환하는 프로세스입니다. 정규화된 데이터는 분석, 해석, 비교가 더 쉬워집니다.
데이터 변환에는 확장, 집계, 이산화 및 인코딩이 포함됩니다. 척도화는 데이터를 균일한 크기로 조정하며, 변수마다 측정 단위가 다르거나 척도가 다른 경우 중요합니다. 집계는 여러 관찰 내용을 하나로 결합하고 데이터 개요를 제공합니다. 이산화는 관찰에 레이블과 범주를 할당하고 인코딩은 데이터 세트를 더 작은 차원으로 투영하는 데 사용됩니다.
데이터 양을 줄이는 것은 복잡성을 줄이고 컴퓨터 알고리즘의 성능을 최적화하기 위해 수행됩니다. 차원 축소 기술은 데이터에서 중복되고 노이즈가 많은 구성 요소를 제거하여 데이터 시각화 및 더 나은 성능의 모델을 만드는 데 사용됩니다.
전반적으로 데이터 전처리는 머신러닝, 인공지능, 딥러닝 등 고급 알고리즘을 적용하기 전 중요한 단계입니다. 이는 고품질 데이터만 프로세스에 입력되도록 보장하여 알고리즘이 더 나은 예측과 결정을 내릴 수 있도록 해줍니다.
