Giảm dần độ dốc là một thuật toán được sử dụng trong học máy và các lĩnh vực khác để tối ưu hóa hàm mục tiêu. Đây là một thuật toán tối ưu hóa lặp bậc nhất để tìm cực tiểu cục bộ của hàm khả vi. Giảm dần độ dốc đã được sử dụng để giải quyết một số vấn đề tối ưu hóa trong khoa học dữ liệu, thống kê, học sâu và nhiều lĩnh vực khác.
Thuật toán được sử dụng để tìm một tập hợp các tham số (chẳng hạn như trọng số trong mạng thần kinh) giúp giảm thiểu hàm chi phí nhất định. Thuật toán giảm thiểu hàm chi phí bằng cách sử dụng phương pháp xuống dốc, bắt đầu bằng các giá trị ban đầu tùy ý cho các tham số.
Ở mỗi bước của quy trình, thuật toán thực hiện một bước theo hướng giảm dần nhanh nhất, đó là hướng giảm mạnh nhất của hàm chi phí. Quy mô của bước này được xác định bởi một tham số gọi là “tốc độ học tập”, thông số này thường được điều chỉnh cho đến khi đạt được kết quả khả quan.
Thuật toán lặp đi lặp lại các bước này cho đến khi đạt đến điểm mà hàm chi phí không giảm thêm nữa hoặc nếu vượt qua tham số dừng sớm thì cho đến khi đạt đến giới hạn trên của số lần lặp.
Giảm dần độ dốc được sử dụng rộng rãi trong các thuật toán khoa học dữ liệu khác nhau và đã được các lĩnh vực khác nhau chấp nhận. Đặc biệt, Viện Công nghệ Ấn Độ đã phát triển các ứng dụng như xử lý ảnh, bài toán ước lượng, dự báo chuỗi thời gian và dịch máy. Giảm dần độ dốc cũng được sử dụng trong học sâu để tối ưu hóa trọng số trong mạng lưới thần kinh nhân tạo.
