Optimalisasi Kebijakan Proksimal (PPO) adalah algoritma dalam pembelajaran penguatan yang digunakan untuk mengoptimalkan kebijakan sehubungan dengan keuntungan yang diharapkan. Ini adalah metode gradien kebijakan yang merupakan alternatif dari Trust Region Policy Optimization (TRPO). Ide dasar dibalik PPO adalah untuk mendorong eksplorasi namun tetap mendorong eksploitasi.
PPO berupaya mencari kebijakan yang optimal dengan melakukan langkah optimasi terhadap fungsi kerugian dari kebijakan agen tertentu. Agen kemudian memilih tindakan berdasarkan kebijakan ini. Pengoptimalan ini memungkinkan agen untuk membuat keputusan yang lebih baik dan oleh karena itu memperoleh imbalan yang lebih tinggi dari lingkungan.
Algoritme ini bekerja dengan mengambil sampel kumpulan episode dari suatu lingkungan dan menghitung hasil yang diharapkan untuk kumpulan tersebut. Kebijakan ini kemudian menggunakan parameter kebijakan untuk mengoptimalkan pengembalian yang diharapkan dari kumpulan sampel, sekaligus mempertimbangkan batasan kebijakan.
Salah satu kelebihan PPO adalah dapat digunakan untuk melatih kebijakan di berbagai lingkungan yang berbeda, karena parameter kebijakannya sama untuk setiap lingkungan, artinya kebijakan yang sama dapat digunakan untuk lingkungan yang berbeda. Hal ini membuat PPO sangat terukur dan lebih dapat digeneralisasikan dibandingkan algoritma pembelajaran penguatan lainnya.
PPO telah menunjukkan kemampuannya untuk mengungguli algoritme pembelajaran penguatan lainnya di berbagai domain, termasuk robotika, permainan video, dan permainan papan. Ini adalah algoritma pembelajaran penguatan tanpa model yang efektif dan menjadi lebih populer akhir-akhir ini karena skalabilitas dan kemudahan penggunaannya.
