本文針對快速、多變量、強(qiáng)非線性的復(fù)雜系統(tǒng)的控制問題，在強(qiáng)化學(xué)習(xí)方式的基礎(chǔ)上，提出一種新的自適應(yīng)控制方法。該方法在沒有先驗(yàn)知識(shí)的條件下，基于遞歸神經(jīng)網(wǎng)絡(luò)并結(jié)合強(qiáng)化學(xué)習(xí)的自調(diào)節(jié)能力，通過自身神經(jīng)網(wǎng)絡(luò)的在線學(xué)習(xí)，有效控制不穩(wěn)定的非線性系統(tǒng)。本文以一級倒立擺系統(tǒng)為實(shí)驗(yàn)對象，仿真實(shí)驗(yàn)結(jié)果表明：所提出的控制方法具有非常好的控制效果和穩(wěn)定精度，抗干擾能力強(qiáng)。
隨著智能控制研究的不斷深入，人們通過模擬人的決策過程，將強(qiáng)化學(xué)習(xí)方式融入控制
策略，用來解決復(fù)雜非線性系統(tǒng)的控制問題。強(qiáng)化學(xué)習(xí)(Reinforcement Learning)是一種試探學(xué)習(xí)方式，外界沒有明顯的教師信號給出正確的指令，只通過與環(huán)境的交互得到評價(jià)信息來學(xué)習(xí)如何執(zhí)行恰當(dāng)?shù)膭?dòng)作。近年來，強(qiáng)化學(xué)習(xí)在算法和應(yīng)用上已取得了大量的研究成果，如用靜態(tài)神經(jīng)網(wǎng)絡(luò)控制倒立擺系統(tǒng)[1,2]、多種動(dòng)態(tài)規(guī)劃算法的提出[3,4]等。
遞歸神經(jīng)網(wǎng)絡(luò)(RNN)由于存在輸出變量到輸入端的反饋，因而其變量中包含時(shí)間延時(shí)網(wǎng)
絡(luò),是真正的動(dòng)態(tài)網(wǎng)絡(luò)系統(tǒng)，為動(dòng)態(tài)系統(tǒng)的辨識(shí)和控制開辟了一個(gè)極有前途的領(lǐng)域。本文在強(qiáng)化學(xué)習(xí)方式的基礎(chǔ)上,提出一種基于遞歸神經(jīng)網(wǎng)絡(luò)的自適應(yīng)控制方法。該控制方法采用的強(qiáng)化學(xué)習(xí)學(xué)習(xí)方式基于“動(dòng)作網(wǎng)絡(luò)/評價(jià)網(wǎng)絡(luò)”的框架結(jié)構(gòu)。其中，動(dòng)作網(wǎng)絡(luò)部分由BP 神經(jīng)網(wǎng)絡(luò)構(gòu)成的，它將系統(tǒng)狀態(tài)量映射為一個(gè)可能的實(shí)際動(dòng)作；評價(jià)網(wǎng)絡(luò)部由遞歸神經(jīng)網(wǎng)絡(luò)構(gòu)成的，根據(jù)系統(tǒng)狀態(tài)和系統(tǒng)的控制量來評價(jià)系統(tǒng)的運(yùn)行狀態(tài)，檢驗(yàn)當(dāng)前的控制效果，產(chǎn)生“獎(jiǎng)勵(lì)/懲罰”值作為反饋，以進(jìn)行自適應(yīng)學(xué)習(xí)。通過對一級倒立擺系統(tǒng)的控制實(shí)驗(yàn)仿真研究，驗(yàn)證了所提控制方法的可行性。