團(tuán)隊(duì)介紹

李濤，電子科技大學(xué)，碩士研究生，研究方向?yàn)榭稍偕茉粗悄苷{(diào)度和電力系統(tǒng)分析、運(yùn)行與控制，作為學(xué)生核心成員參與國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目“分布式光伏與梯級(jí)小水電互補(bǔ)聯(lián)合發(fā)電技術(shù)研究及應(yīng)用示范”。

胡維昊，電子科技大學(xué)教授、博士生導(dǎo)師、“智慧電力與能源研究所”所長(zhǎng)，國(guó)家海外高層次人才青年項(xiàng)目。主要從事人工智能在現(xiàn)代電力系統(tǒng)中的應(yīng)用和可再生能源發(fā)電等研究。主持由國(guó)家重點(diǎn)研發(fā)計(jì)劃和國(guó)家自然科學(xué)基金等資助的縱向課題5項(xiàng)，作為課題負(fù)責(zé)人和核心成員參與由國(guó)家重點(diǎn)研發(fā)計(jì)劃、丹麥國(guó)家戰(zhàn)略研究基金、歐盟地平線2020戰(zhàn)略規(guī)劃基金和中丹可再生能源合作基金等資助的國(guó)家級(jí)縱向課題15項(xiàng)，發(fā)表論文170余篇。

擔(dān)任IET Renewable Power Generation副編輯、Journal of Modern Power System and Clean Energy?？汀峨姽ぜ夹g(shù)學(xué)報(bào)》專刊特約主編、IEEE Transactions on Power Systems?？妥庉嫷?，并擔(dān)任亞洲能源與電氣工程研討會(huì)IEEE AEEES 2020大會(huì)主席、亞洲智能電網(wǎng)國(guó)際會(huì)議IEEE ISGT Asia 2019程序委員會(huì)主席、IEEE電力電子學(xué)會(huì)成都分會(huì)主席、中國(guó)電工技術(shù)學(xué)會(huì)人工智能與電氣應(yīng)用專委會(huì)副秘書長(zhǎng)等學(xué)術(shù)職務(wù)。獲中國(guó)儀器儀表學(xué)會(huì)科學(xué)技術(shù)一等獎(jiǎng)1項(xiàng)，教育部科技進(jìn)步二等獎(jiǎng)1項(xiàng)。

李堅(jiān)，電子科技大學(xué)副教授、博士生導(dǎo)師，主要從事電力系統(tǒng)廣域測(cè)量與控制、智能控制與信息化技術(shù)、電力大數(shù)據(jù)等方面的研究。承擔(dān)國(guó)家級(jí)項(xiàng)目5項(xiàng)、省部級(jí)項(xiàng)目6項(xiàng)、申請(qǐng)發(fā)明專利40余項(xiàng)，國(guó)際專利2項(xiàng)；發(fā)表論文50余篇，其中SCI論文20余篇，獲中國(guó)儀器儀表學(xué)會(huì)科技一等獎(jiǎng)1項(xiàng)，教育部科技進(jìn)步二等獎(jiǎng)1項(xiàng)，四川省科技進(jìn)步二等獎(jiǎng)1項(xiàng)。

導(dǎo)語

作者以光伏-抽水蓄能互補(bǔ)發(fā)電系統(tǒng)為研究對(duì)象，考慮光伏發(fā)電與實(shí)時(shí)電價(jià)的不確定性，以100%消納光伏為前提，構(gòu)建考慮并網(wǎng)點(diǎn)功率波動(dòng)和抽水蓄能經(jīng)濟(jì)效益的模型。

針對(duì)抽水蓄能出力連續(xù)可調(diào)的特點(diǎn)，將智能調(diào)度問題轉(zhuǎn)換為馬爾可夫決策過程；利用深度強(qiáng)化學(xué)習(xí)算法，以光伏并網(wǎng)后聯(lián)絡(luò)線功率波動(dòng)最小化和抽水蓄能電站在實(shí)時(shí)電價(jià)模式下收益最大化為目標(biāo)，得出抽水蓄能的最佳運(yùn)行工況。

項(xiàng)目研究背景

由于光伏發(fā)電受氣象因素影響，具有較強(qiáng)的間歇性和隨機(jī)性，這些特性使得高滲透率并網(wǎng)光伏發(fā)電給電力系統(tǒng)的穩(wěn)定性與經(jīng)濟(jì)性帶來了巨大的挑戰(zhàn)，并且嚴(yán)重制約了光伏的100%消納。

采用新能源互補(bǔ)發(fā)電技術(shù)是全額消納新能源的有效途徑，即在最大功率跟蹤模式下，利用儲(chǔ)能設(shè)備及時(shí)有效地提供功率支撐來抑制并網(wǎng)點(diǎn)功率波動(dòng)；然而針對(duì)非凸、非線性的光-蓄優(yōu)化模型，基于隨機(jī)優(yōu)化和魯棒優(yōu)化策略的性能與源/荷預(yù)測(cè)精度強(qiáng)相關(guān)，且難以準(zhǔn)確表征光-蓄系統(tǒng)的不確定性和難以在線應(yīng)用。

本文基于深度強(qiáng)化學(xué)習(xí)算法的光伏-抽蓄互補(bǔ)系統(tǒng)智能調(diào)度，在離線訓(xùn)練過程中實(shí)現(xiàn)了深度神經(jīng)網(wǎng)絡(luò)對(duì)光伏隨機(jī)出力以及電價(jià)變化特征的提?。辉诰€應(yīng)用時(shí)，不需要預(yù)測(cè)光伏出力與電價(jià)趨勢(shì)，減少光-蓄電站的運(yùn)行成本。

論文方法及創(chuàng)新點(diǎn)

為實(shí)現(xiàn)光伏-抽蓄互補(bǔ)發(fā)電系統(tǒng)的最優(yōu)在線經(jīng)濟(jì)調(diào)度，論文研究了多重不確定性下基于馬爾可夫決策過程的光伏-抽蓄在線智能調(diào)度，探討了多約束優(yōu)化問題向無約束強(qiáng)化學(xué)習(xí)任務(wù)轉(zhuǎn)換的方法，驗(yàn)證了人工智能技術(shù)實(shí)現(xiàn)大規(guī)模新能源互補(bǔ)發(fā)電在線調(diào)度的可行性。光伏-抽蓄互補(bǔ)發(fā)電運(yùn)行示意圖如圖1所示。

圖 1 光伏-抽蓄互補(bǔ)發(fā)電運(yùn)行示意圖

本文首先建立了考慮抽蓄經(jīng)濟(jì)收益和并網(wǎng)功率波動(dòng)的優(yōu)化運(yùn)行模型；然后，將含約束的非線性優(yōu)化問題轉(zhuǎn)化為適用于深度強(qiáng)化學(xué)習(xí)的無約束馬爾科夫決策模型；最后，采用深度確定性梯度策略算法(Deep Deterministic Policy Gradient, DDPG)求解并得到光伏-抽蓄在線智能調(diào)度策略。DDPG優(yōu)化算法結(jié)構(gòu)如圖2所示。每回合平均獎(jiǎng)勵(lì)曲線如圖3所示。

圖 2 優(yōu)化算法結(jié)構(gòu)

圖 3 每回合平均獎(jiǎng)勵(lì)曲線

為驗(yàn)證所得策略的性能，在測(cè)試集上進(jìn)行連續(xù)7天實(shí)時(shí)運(yùn)行測(cè)試，其抑制功率波動(dòng)、跟隨實(shí)時(shí)電價(jià)和應(yīng)對(duì)約束的能力如圖4所示。

圖 4 測(cè)試的性能

為分析本文所提方法的優(yōu)勢(shì)，考慮光伏的不同預(yù)測(cè)精度，采用了序列二次規(guī)劃(Sequential Quadratic Programming, SQP)和基于拉丁超立方的場(chǎng)景分析法(Scenario Analysis, SA)與之對(duì)比，見表1。

表1 不同預(yù)測(cè)精度下算法對(duì)比結(jié)果

結(jié)論

針對(duì)對(duì)光伏-抽蓄互補(bǔ)發(fā)電系統(tǒng)，從并網(wǎng)點(diǎn)功率波動(dòng)和抽水蓄能的經(jīng)濟(jì)收益等角度出發(fā)，采用DDPG算法，研究了多重不確定性條件下光-蓄互補(bǔ)發(fā)電的實(shí)時(shí)經(jīng)濟(jì)調(diào)度問題。

研究表明：1）DDPG算法在控制抽蓄緩解功率波動(dòng)和跟隨電價(jià)方面能取得較佳的效果；2）當(dāng)光伏的預(yù)測(cè)誤差大于10%時(shí)， DDPG智能體在實(shí)現(xiàn)光-蓄互補(bǔ)系統(tǒng)調(diào)度策略時(shí)，無論是在抑制并網(wǎng)波動(dòng)率還是提升抽蓄的經(jīng)濟(jì)收益方面均具有絕對(duì)優(yōu)勢(shì)。

引用本文

李濤, 胡維昊, 李堅(jiān), 韓曉言, 陳哲. 基于深度強(qiáng)化學(xué)習(xí)算法的光伏-抽蓄互補(bǔ)系統(tǒng)智能調(diào)度[J]. 電工技術(shù)學(xué)報(bào), 2020, 35(13): 2757-2768. Li Tao, Hu Weihao, Li Jian, Han Xiaoyan, Chen Zhe. Intelligent Economic Dispatch for PV-PHS Integrated System: a Deep Reinforcement Learning-Based Approach. Transactions of China Electrotechnical Society, 2020, 35(13): 2757-2768.