團(tuán)隊(duì)介紹

李濤，電子科技大學(xué)，碩士研究生，研究方向?yàn)榭稍偕茉粗悄苷{(diào)度和電力系統(tǒng)分析、運(yùn)行與控制，作為學(xué)生核心成員參與國家重點(diǎn)研發(fā)計劃項(xiàng)目“分布式光伏與梯級小水電互補(bǔ)聯(lián)合發(fā)電技術(shù)研究及應(yīng)用示范”。

胡維昊，電子科技大學(xué)教授、博士生導(dǎo)師、“智慧電力與能源研究所”所長，國家海外高層次人才青年項(xiàng)目。主要從事人工智能在現(xiàn)代電力系統(tǒng)中的應(yīng)用和可再生能源發(fā)電等研究。主持由國家重點(diǎn)研發(fā)計劃和國家自然科學(xué)基金等資助的縱向課題5項(xiàng)，作為課題負(fù)責(zé)人和核心成員參與由國家重點(diǎn)研發(fā)計劃、丹麥國家戰(zhàn)略研究基金、歐盟地平線2020戰(zhàn)略規(guī)劃基金和中丹可再生能源合作基金等資助的國家級縱向課題15項(xiàng)，發(fā)表論文170余篇。

擔(dān)任IET Renewable Power Generation副編輯、Journal of Modern Power System and Clean Energy專刊和《電工技術(shù)學(xué)報》專刊特約主編、IEEE Transactions on Power Systems專刊客座編輯等，并擔(dān)任亞洲能源與電氣工程研討會IEEE AEEES 2020大會主席、亞洲智能電網(wǎng)國際會議IEEE ISGT Asia 2019程序委員會主席、IEEE電力電子學(xué)會成都分會主席、中國電工技術(shù)學(xué)會人工智能與電氣應(yīng)用專委會副秘書長等學(xué)術(shù)職務(wù)。獲中國儀器儀表學(xué)會科學(xué)技術(shù)一等獎1項(xiàng)，教育部科技進(jìn)步二等獎1項(xiàng)。

李堅，電子科技大學(xué)副教授、博士生導(dǎo)師，主要從事電力系統(tǒng)廣域測量與控制、智能控制與信息化技術(shù)、電力大數(shù)據(jù)等方面的研究。承擔(dān)國家級項(xiàng)目5項(xiàng)、省部級項(xiàng)目6項(xiàng)、申請發(fā)明專利40余項(xiàng)，國際專利2項(xiàng)；發(fā)表論文50余篇，其中SCI論文20余篇，獲中國儀器儀表學(xué)會科技一等獎1項(xiàng)，教育部科技進(jìn)步二等獎1項(xiàng)，四川省科技進(jìn)步二等獎1項(xiàng)。

導(dǎo)語

作者以光伏-抽水蓄能互補(bǔ)發(fā)電系統(tǒng)為研究對象，考慮光伏發(fā)電與實(shí)時電價的不確定性，以100%消納光伏為前提，構(gòu)建考慮并網(wǎng)點(diǎn)功率波動和抽水蓄能經(jīng)濟(jì)效益的模型。

針對抽水蓄能出力連續(xù)可調(diào)的特點(diǎn)，將智能調(diào)度問題轉(zhuǎn)換為馬爾可夫決策過程；利用深度強(qiáng)化學(xué)習(xí)算法，以光伏并網(wǎng)后聯(lián)絡(luò)線功率波動最小化和抽水蓄能電站在實(shí)時電價模式下收益最大化為目標(biāo)，得出抽水蓄能的最佳運(yùn)行工況。

項(xiàng)目研究背景

由于光伏發(fā)電受氣象因素影響，具有較強(qiáng)的間歇性和隨機(jī)性，這些特性使得高滲透率并網(wǎng)光伏發(fā)電給電力系統(tǒng)的穩(wěn)定性與經(jīng)濟(jì)性帶來了巨大的挑戰(zhàn)，并且嚴(yán)重制約了光伏的100%消納。

采用新能源互補(bǔ)發(fā)電技術(shù)是全額消納新能源的有效途徑，即在最大功率跟蹤模式下，利用儲能設(shè)備及時有效地提供功率支撐來抑制并網(wǎng)點(diǎn)功率波動；然而針對非凸、非線性的光-蓄優(yōu)化模型，基于隨機(jī)優(yōu)化和魯棒優(yōu)化策略的性能與源/荷預(yù)測精度強(qiáng)相關(guān)，且難以準(zhǔn)確表征光-蓄系統(tǒng)的不確定性和難以在線應(yīng)用。

本文基于深度強(qiáng)化學(xué)習(xí)算法的光伏-抽蓄互補(bǔ)系統(tǒng)智能調(diào)度，在離線訓(xùn)練過程中實(shí)現(xiàn)了深度神經(jīng)網(wǎng)絡(luò)對光伏隨機(jī)出力以及電價變化特征的提取；在線應(yīng)用時，不需要預(yù)測光伏出力與電價趨勢，減少光-蓄電站的運(yùn)行成本。

論文方法及創(chuàng)新點(diǎn)

為實(shí)現(xiàn)光伏-抽蓄互補(bǔ)發(fā)電系統(tǒng)的最優(yōu)在線經(jīng)濟(jì)調(diào)度，論文研究了多重不確定性下基于馬爾可夫決策過程的光伏-抽蓄在線智能調(diào)度，探討了多約束優(yōu)化問題向無約束強(qiáng)化學(xué)習(xí)任務(wù)轉(zhuǎn)換的方法，驗(yàn)證了人工智能技術(shù)實(shí)現(xiàn)大規(guī)模新能源互補(bǔ)發(fā)電在線調(diào)度的可行性。光伏-抽蓄互補(bǔ)發(fā)電運(yùn)行示意圖如圖1所示。

圖 1 光伏-抽蓄互補(bǔ)發(fā)電運(yùn)行示意圖

本文首先建立了考慮抽蓄經(jīng)濟(jì)收益和并網(wǎng)功率波動的優(yōu)化運(yùn)行模型；然后，將含約束的非線性優(yōu)化問題轉(zhuǎn)化為適用于深度強(qiáng)化學(xué)習(xí)的無約束馬爾科夫決策模型；最后，采用深度確定性梯度策略算法(Deep Deterministic Policy Gradient, DDPG)求解并得到光伏-抽蓄在線智能調(diào)度策略。DDPG優(yōu)化算法結(jié)構(gòu)如圖2所示。每回合平均獎勵曲線如圖3所示。

圖 2 優(yōu)化算法結(jié)構(gòu)

圖 3 每回合平均獎勵曲線

為驗(yàn)證所得策略的性能，在測試集上進(jìn)行連續(xù)7天實(shí)時運(yùn)行測試，其抑制功率波動、跟隨實(shí)時電價和應(yīng)對約束的能力如圖4所示。

圖 4 測試的性能

為分析本文所提方法的優(yōu)勢，考慮光伏的不同預(yù)測精度，采用了序列二次規(guī)劃(Sequential Quadratic Programming, SQP)和基于拉丁超立方的場景分析法(Scenario Analysis, SA)與之對比，見表1。

表1 不同預(yù)測精度下算法對比結(jié)果

結(jié)論

針對對光伏-抽蓄互補(bǔ)發(fā)電系統(tǒng)，從并網(wǎng)點(diǎn)功率波動和抽水蓄能的經(jīng)濟(jì)收益等角度出發(fā)，采用DDPG算法，研究了多重不確定性條件下光-蓄互補(bǔ)發(fā)電的實(shí)時經(jīng)濟(jì)調(diào)度問題。

研究表明：1）DDPG算法在控制抽蓄緩解功率波動和跟隨電價方面能取得較佳的效果；2）當(dāng)光伏的預(yù)測誤差大于10%時， DDPG智能體在實(shí)現(xiàn)光-蓄互補(bǔ)系統(tǒng)調(diào)度策略時，無論是在抑制并網(wǎng)波動率還是提升抽蓄的經(jīng)濟(jì)收益方面均具有絕對優(yōu)勢。

引用本文

李濤, 胡維昊, 李堅, 韓曉言, 陳哲. 基于深度強(qiáng)化學(xué)習(xí)算法的光伏-抽蓄互補(bǔ)系統(tǒng)智能調(diào)度[J]. 電工技術(shù)學(xué)報, 2020, 35(13): 2757-2768. Li Tao, Hu Weihao, Li Jian, Han Xiaoyan, Chen Zhe. Intelligent Economic Dispatch for PV-PHS Integrated System: a Deep Reinforcement Learning-Based Approach. Transactions of China Electrotechnical Society, 2020, 35(13): 2757-2768.