Giảm độ dốc ngẫu nhiên (SGD) là một phương pháp lặp để tối ưu hóa hàm khả vi. Nó thường hoạt động trên các hàm quá lớn hoặc phức tạp để có thể khám phá ở tất cả các chiều cùng một lúc. SGD thường được sử dụng trong các mô hình machine learning và deep learning để tối ưu hóa và huấn luyện các mô hình đó.
Thay vì đánh giá toàn bộ hàm ở mỗi bước, SGD đánh giá một tập hợp con ngẫu nhiên của hàm, được gọi là lô nhỏ. Các thông số của mô hình sau đó được điều chỉnh cho phù hợp. Đây là một cách tiếp cận hiệu quả, đặc biệt khi xử lý các tập dữ liệu lớn hoặc các mô hình có quá nhiều tham số để đánh giá cùng một lúc.
Có bốn thành phần quan trọng của phương pháp SGD, được xác định bằng thuật ngữ toán học:
1. Hàm chi phí. Đây là hàm sẽ được giảm thiểu bằng thuật toán SGD. Nó bao gồm các điểm dữ liệu và các giá trị liên quan của chúng. Nó thường bao gồm sự kết hợp của nhiều yếu tố.
2. Tốc độ học tập. Tham số này xác định mức độ thay đổi sẽ được thực hiện ở mỗi bước. Nó nên được chọn để tối đa hóa dự đoán chính xác của mô hình đồng thời giảm thiểu thời gian thực hiện để có được giải pháp thỏa đáng.
3. Thuật toán tối ưu hóa. Đây là kỹ thuật được sử dụng để điều chỉnh các tham số nhằm giảm thiểu hàm chi phí.
4. Kích thước lô nhỏ. Đây là số điểm được đánh giá ở mỗi bước. Nó thường được chọn để cân bằng độ chính xác và tốc độ.
SGD là một phương pháp tối ưu hóa mạnh mẽ, rất phù hợp với nhiều nhiệm vụ học máy và học sâu. Nó nhanh chóng, hiệu quả và tương đối dễ thực hiện.
