國網福建省電力有限公司檢修分公司的研究人員黃旭超，在2018年第11期《電氣技術》雜志上撰文，回顧了深度學習的發展歷程，詳細介紹了深度學習的主流基礎網絡——深度神經網絡結構和特點，在此基礎上對其產生的衍生和變體進行了分析。并總結了深度學習發展過程中的主要因素。

與電網智能化的情況相結合，本文還闡述了深度學習與電網智能化相結合的可行性和必要性，并簡單介紹了當前深度學習在電力系統中的應用。毫無疑問，深度學習將在助力電力智能化的進程中扮演重要角色。

近幾年，互聯網領域迎來了一個爆炸式的發展。隨著數據規模的指數式增長，人類社會正逐漸由信息科技（information technology, IT）時代轉向數據科技（data technology, DT）時代，大數據、數據挖掘、云服務等新技術、新熱點層出不窮，人工方式處理數據的瓶頸逐漸顯現出來，科技進步的瓶頸已由計算機硬件的不足轉向了計算機智能化的不足。而在這一背景下，人工智能（artificial intelligence, AI）不可避免地成為了新的技術熱點。

人工智能是計算機科學的一個分支，它是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學。而在這一領域內，機器學習（machine learning, ML）無疑是這一波浪潮的焦點，在很多時候，幾乎成為了人工智能的代名詞。機器學習是上世紀新興發展的一門交叉學科，內容涉及高等數學、概率論、統計學、計算機學、仿生學等多個學科。

簡單地說，機器學習就是通過算法，使得機器能從大量的歷史數據中學習規律，從而通過改變某些參數，進而改善系統性能。機器學習從不同的角度可以有不同的分類，如從特征提取角度可分為隔離學習（isolate learning）和端到端學習（end-to-end learning）；從模型結構角度可分為淺層學習（shallow learning）和深度學習（deep learning）。

2017年，共享經濟的概念在投資領域無疑是一個炙熱的風口，只要套上這一概念，社會資本便蜂擁而至，近年來，深度學習亦在學術界和工業界扮演了這一角色。如圖1所示，Google Brain計劃的項目數量從2013年第3季度至2015年第3季度發生了近乎1200%的爆炸式增長，并將上升勢頭持續至今。

據統計，2016年計算機視覺頂級盛會IEEE Conference on Computer Vision and Pattern Recognition（CVPR）共收到2145篇有效投稿論文，在接受的643篇論文中，80%～90%的發表論文、接近100%的口頭報告論文均來自深度學習領域[1]。

在諸多領域（如圖像識別、語音識別）取得了破紀錄的成果；在藥物研發、醫學及數據分析等領域超越了其他機器學習方法；并在自然語言處理方面展現出了令人期待的前景。2016年，谷歌AlphaGo的人機大戰更是吸引了世界范圍內的強烈關注，甚至引發了人們的恐慌和憂慮。

圖1 Google Brain項目數量

深度學習與電力系統相結合已經是電力系統智能化發展的必由之路。一方面，其擅于挖掘處理大數據的特性非常適合解決當前電力智能化的進程中所面對的數據量激增的挑戰；另一方面，其能充分利用電力智能化帶來的大量的數據量推動電力技術的發展，從而加速電力智能化的進程。

1 深度學習

雖然深度學習近年來在諸多領域取得了令人矚目的成果，但其本身并不是一項新興技術，其從本質上來說是一種特定的，具有多層結構的人工神經網絡（artificial neural networks, ANN），其起源最早可以追溯至20世紀50至60年代的感知機技術（Perceptron，即一種僅有輸入層、輸出層和單個隱含層的簡單神經網絡，輸入的特征向量通過隱含層變換后至輸出層進行分類）[2]。

但這種單層感知機對稍微復雜一點的函數都無能為力，因此沉寂了相當長的一段時間，直到20世紀80年代，隨著多層感知機（multilayer-perceptron）的出現，人工智能迎來了第一次發展浪潮。

在早年，機器學習系統需要基于細致的工程和可參考的專業領域知識來設計特征提取器對原始數據進行處理，研究人員的目標是利用可訓練的多層網絡結構來取代人工設計特征過程[3-4]，但這一想法一直到20世紀80年代才被不同的研究團隊各自獨立的完成。

多層感知機（其結構如圖2所示，即所謂的神經網絡）在結構上由一個輸入層、一個輸出層和多個隱含層構成；每個隱含層由諸多的神經元（neuron）組成；每個神經元接受前一層所有的神經元的數據，并分別進行帶權求和后進行偏置，再經由激活函數（activation function）變換后輸出給下一層的所有神經元[4]。由于其上下層的神經元是完全連接的，因此又稱為全連接網絡（fully connected network）。

圖2 多層感知機結構

從其數學模型來看，整個的神經網絡在本質上與數學的擬合或插值問題類似，都是給出已知的x坐標（訓練數據）和y坐標（訓練數據對應的我們需要的分類或結果），尋求一種復合函數對其進行映射。

而網絡的訓練過程，即是整個網絡的參數（內部神經元的連接權重、偏置值）的調整過程。傳統的監督學習在這一過程中通常使用一個損失函數（loss function）來評估訓練時網絡輸出的結果與設定結果的差異，以反向傳播的梯度下降法進行參數的更新。對于多層網絡結構而言，其訓練可以使用簡單的隨機梯度下降法完成，只要模塊是關于輸入和內部權重的相對平滑函數，就可以使用Werbos發明的反向傳播算法計算梯度[5]。

使用更少的神經元（即更少的網絡參數）來刻畫對象，能夠減少系統的復雜程度，但也帶來了其他的麻煩：隨著網絡結構的加深，目標函數越來越容易陷入局部最優解，且梯度消散（gradient vanishing）的現象也更加嚴重。

2006年，Geoffrey Hinton利用預訓練（Pre- training）的方法緩解了局部最優的問題，將網絡的隱含層數拓展到了7層，正式闡述了深度學習的概念，提出了對神經網絡有效降維的重要思想，并指出具有多隱含層結構的人工神經網絡在可視化和分類上的優勢[6-7]。

為了解決梯度消散等一系列問題，ReLU[8]（rectified linear unit）、Maxout等傳遞函數代替了傳統的Sigmoid激活函數；Mini-batch、Momentum、變梯度與隨機梯度、變學習率、Regularization、Dropout等新技術的應用形成了如今深度神經網絡（deep neural networks, DNN）的基本形式，其亦是其他更先進網絡結構的雛形。

2 深度學習在電力領域內的應用

近幾年，隨著人工智能的大熱，深度學習技術被應用到許多不同領域中，取得了許多突破性的成果，而在電力領域內亦有深度學習技術的引入，但依然處于起步摸索階段，相關的論文與成果也較少，不如其在圖像識別、語音識別、語言處理等老本行上那么令人印象深刻，但也已經表現出令人期待的潛力和發展前景。

縱觀深度學習的興起，很大程度上得益于3個方面的共同協作。

1）大數據的興起。如在CNN的崛起中扮演著重要角色的ImageNet計劃，該計劃由Feifei Li教授與普林斯頓大學的Kai Li教授合作發起，到2009年共收集到1500萬張包含22000種物品的圖片，成功改變了人工智能領域對數據集的認識，也改變了學術界對神經網絡模型的認知。

2）計算機硬件的發展。高性能CPU和多GPU并行技術的帶來的計算能力的提升。

3）算法上的改進。很難說清ImageNet數據集計劃和深度學習到底是誰成就了誰，或者二者是相互推動的關系，但不可否認的是，GPU帶來的計算能力的提升和ImageNet帶來的數據集，以及同時帶來的學術界對訓練數據認識的改變，對深度學習技術井噴發展的巨大推動作用[9]。

而在電力智能化發展的今天，電力系統也同樣有著相同的背景：設備智能化，運算能力加強，數據量爆炸式增長，傳統的電力數據方法在面對海量的數據時已經捉襟見肘，而深度學習所擅長的正是對海量數據的挖掘。毫無疑問，電力智能化與深度學習是可以無縫融合，并擁有廣闊的前景。

目前，國內外已有一些深度學習在電力領域內的應用，大部分都集中在故障檢測和決策優化領域。后者通常是基于深度學習對電力大數據進行挖掘和應用[10]，在這一方面，由于數據量大，且容易獲取，所以目前研究較多，取得的成果也不少。

而前者總的來說可以分成兩大類：

①利用深度學習對系統中的關鍵參數提取特征，進行學習，使得模型可以通過對關鍵參數的監控發現故障或對故障進行預警[11-12]。這一類方式需要人工對系統進行分析，選出用于分析學習的關鍵參數，從某種意義上來說，這一步驟也屬于需要人工干預的特征選取工作。但這類研究可以大量使用仿真的方式獲取數據構建數據集，使用的模型深度也不需要太深，也比較容易出成果。

②直接利用深度學習在圖像處理中的優勢，利用圖像檢測的方式展開應用，如利用深度學習對電網巡檢圖像進行處理[13-14]。這一類應用是直接對深度學習技術的遷移應用，理論上是最成熟的，但受制于數據集的缺乏，使其難以進行實際應用。

展望

毫無疑問，深度學習技術在經過了近幾年的蓬勃發展，已經給這個世界帶來了太多的驚喜，也實際的改變了人類的生活方式。前幾年互聯網的迅猛發展帶來的龐大數據量，計算機計算能力的增加，使得早年受制于計算機計算性能和對數據集的忽視導致停滯不前的人工智能技術迎來了又一輪的浪潮，在最近幾年里，關于深度學習的捷報不斷傳來，但其實這一門學科仍然處在一個剛剛起步的階段，當前的深度學習還存在許多問題，依然面臨著諸多挑戰。

在如今，經過ImageNet的一輪洗禮，人們普遍認識到數據集的重要性，甚至有觀點認為：在如今的深度學習應用中，我們面對的是工程問題（數據集的缺乏等），而非技術問題。不可否認的是，在網絡結構變得越來越深、越來越復雜的今天，網絡對現實的刻畫能力也越來越強，而訓練它們所需要的數據量也要求越來越大，這就對訓練網絡的數據集提出了高要求，在諸如深度學習在電網巡檢圖像這類應用中，目前真正制約它的是圖像數據集的缺乏[15-16]。

如果要將深度學習應用得更廣，那么如何以更小的樣本完成對深度網絡的訓練無疑是需要解決的一個問題。而在自然語言處理方面，深度學習技術似乎還未取得太多的轟動性進展。另外，雖然非監督學習和半監督學習近年來在監督學習的光環之下顯得有些暗淡，但其依然是值得關注的發展方向。

不論在工程上解決數據集不足的問題，還是技術上滿足對大訓練數據的要求，深度學習都無疑將在電網智能化的道路上發揮更大的作用。但是若無法從技術上解決這一問題，則無疑會加劇深度學習領域的馬太效應，不論技術還是數據都會集中在少數巨頭身上，形成壁壘，不利于技術的發展。

另外，深度學習在電力系統的應用還有待開發，不僅僅是在技術領域使得技術更先進，設備更智能；更多地，是可以在日常工作中進行應用，例如將深度學習在文本處理方面的應用遷移至電網公司的運作中，代替一些日常文案工作或繁雜而機械的勞務，以減輕電網從業人員的工作量，解放勞動力。

近期，新的AlphaGo Zero橫空出世，相比原先的AlphaGo，其網絡模型進行了簡化和改進，不再依賴于人類的經驗進行學習，訓練時間也更短，這一技術可能又將引發一次新的技術變革。深度學習，或者說人工智能是一門正處于爆發期的學科，其理論和成果正以一種匪夷所思的速度更迭，在未來電力智能化的領域中，它無疑將扮演著一個舉足輕重的角色。