Xu hướng và phương sai là hai khái niệm cơ bản trong Machine Learning đóng vai trò quan trọng trong việc lựa chọn mô hình và tối ưu hóa hiệu suất.
Độ lệch là thước đo mức độ mô hình nắm bắt chính xác mối quan hệ cơ bản giữa dữ liệu đầu vào và đầu ra dự kiến. Một mô hình có độ lệch cao có thể quá đơn giản và bỏ qua các mẫu quan trọng trong dữ liệu, dẫn đến hiệu suất kém khi áp dụng cho các tình huống mới. Ngược lại, một mô hình có độ lệch thấp có thể quá phức tạp, dẫn đến tình trạng khớp quá mức và dự đoán kém ổn định hơn.
Mặt khác, phương sai đo lường mức độ thay đổi của dự đoán của một mô hình dựa trên dữ liệu được cung cấp. Một mô hình có phương sai cao có xu hướng quá nhạy cảm với những thay đổi nhỏ trong dữ liệu huấn luyện, gây khó khăn cho việc khái quát hóa ngoài tập dữ liệu đã cho. Ngược lại, một mô hình có phương sai thấp sẽ đưa ra những dự đoán chắc chắn hơn nhưng có thể không chính xác trong việc thu thập toàn bộ dữ liệu.
Mô hình tối ưu phải đạt được sự cân bằng giữa độ lệch và phương sai; Quá nhiều một trong hai có thể dẫn đến hiệu suất kém. Điều này thường được gọi là Sự đánh đổi thiên vị-phương sai, cung cấp một hướng dẫn quan trọng trong việc tối ưu hóa bất kỳ mô hình Học máy nào.
