神經(jīng)網(wǎng)絡(luò)

　　人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，簡(jiǎn)寫(xiě)為ANNs）也簡(jiǎn)稱(chēng)為神經(jīng)網(wǎng)絡(luò)（NNs）或稱(chēng)作連接模型（ConnectionModel），它是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過(guò)調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。

　　概述

　　神經(jīng)元網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)學(xué)科中的一個(gè)重要部分，用來(lái)classification或者regression。思維學(xué)普遍認(rèn)為，人類(lèi)大腦的思維分為抽象（邏輯）思維、形象（直觀）思維和靈感（頓悟）思維三種基本方式。

　　邏輯性的思維是指根據(jù)邏輯規(guī)則進(jìn)行推理的過(guò)程；它先將信息化成概念，并用符號(hào)表示，然后，根據(jù)符號(hào)運(yùn)算按串行模式進(jìn)行邏輯推理；這一過(guò)程可以寫(xiě)成串行的指令，讓計(jì)算機(jī)執(zhí)行。然而，直觀性的思維是將分布式存儲(chǔ)的信息綜合起來(lái)，結(jié)果是忽然間產(chǎn)生想法或解決問(wèn)題的辦法。這種思維方式的根本之點(diǎn)在于以下兩點(diǎn)：1.信息是通過(guò)神經(jīng)元上的興奮模式分布存儲(chǔ)在網(wǎng)絡(luò)上；2.信息處理是通過(guò)神經(jīng)元之間同時(shí)相互作用的動(dòng)態(tài)過(guò)程來(lái)完成的。

　　人工神經(jīng)網(wǎng)絡(luò)就是模擬人思維的第二種方式。這是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，其特色在于信息的分布式存儲(chǔ)和并行協(xié)同處理。雖然單個(gè)神經(jīng)元的結(jié)構(gòu)極其簡(jiǎn)單，功能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實(shí)現(xiàn)的行為卻是極其豐富多彩的。

　　模擬人腦思維方式的神經(jīng)網(wǎng)絡(luò)是個(gè)很有趣的分類(lèi)算法，對(duì)于復(fù)雜度比較大的分類(lèi)問(wèn)題提供了一個(gè)相對(duì)簡(jiǎn)單的解決方案。

　　研究?jī)?nèi)容

　　神經(jīng)網(wǎng)絡(luò)的研究?jī)?nèi)容相當(dāng)廣泛，反映了多學(xué)科交叉技術(shù)領(lǐng)域的特點(diǎn)。主要的研究工作集中在以下幾個(gè)方面：

　　生物原型

　　從生理學(xué)、心理學(xué)、解剖學(xué)、腦科學(xué)、病理學(xué)等方面研究神經(jīng)細(xì)胞、神經(jīng)網(wǎng)絡(luò)、神經(jīng)系統(tǒng)的生物原型結(jié)構(gòu)及其功能機(jī)理。

　　建立模型

　　根據(jù)生物原型的研究，建立神經(jīng)元、神經(jīng)網(wǎng)絡(luò)的理論模型。其中包括概念模型、知識(shí)模型、物理化學(xué)模型、數(shù)學(xué)模型等。

　　算法

　　在理論模型研究的基礎(chǔ)上構(gòu)作具體的神經(jīng)網(wǎng)絡(luò)模型，以實(shí)現(xiàn)計(jì)算機(jī)模擬或準(zhǔn)備制作硬件，包括網(wǎng)絡(luò)學(xué)習(xí)算法的研究。這方面的工作也稱(chēng)為技術(shù)模型研究。

　　神經(jīng)網(wǎng)絡(luò)用到的算法就是向量乘法，并且廣泛采用符號(hào)函數(shù)及其各種逼近。并行、容錯(cuò)、可以硬件實(shí)現(xiàn)以及自我學(xué)習(xí)特性，是神經(jīng)網(wǎng)絡(luò)的幾個(gè)基本優(yōu)點(diǎn)，也是神經(jīng)網(wǎng)絡(luò)計(jì)算方法與傳統(tǒng)方法的區(qū)別所在。

　　應(yīng)用

　　在網(wǎng)絡(luò)模型與算法研究的基礎(chǔ)上，利用人工神經(jīng)網(wǎng)絡(luò)組成實(shí)際的應(yīng)用系統(tǒng)，例如，完成某種信號(hào)處理或模式識(shí)別的功能、構(gòu)作專(zhuān)家系統(tǒng)、制成機(jī)器人、復(fù)雜系統(tǒng)控制等等。

　　縱觀當(dāng)代新興科學(xué)技術(shù)的發(fā)展歷史，人類(lèi)在征服宇宙空間、基本粒子，生命起源等科學(xué)技術(shù)領(lǐng)域的進(jìn)程中歷經(jīng)了崎嶇不平的道路。我們也會(huì)看到，探索人腦功能和神經(jīng)網(wǎng)絡(luò)的研究將伴隨著重重困難的克服而日新月異。

　　工作原理

　　“人腦是如何工作的？”

　　“人類(lèi)能否制作模擬人腦的人工神經(jīng)元？”

　　多少年以來(lái)，人們從醫(yī)學(xué)、生物學(xué)、生理學(xué)、哲學(xué)、信息學(xué)、計(jì)算機(jī)科學(xué)、認(rèn)知學(xué)、組織協(xié)同學(xué)等各個(gè)角度企圖認(rèn)識(shí)并解答上述問(wèn)題。在尋找上述問(wèn)題答案的研究過(guò)程中，逐漸形成了一個(gè)新興的多學(xué)科交叉技術(shù)領(lǐng)域，稱(chēng)之為“神經(jīng)網(wǎng)絡(luò)”。神經(jīng)網(wǎng)絡(luò)的研究涉及眾多學(xué)科領(lǐng)域，這些領(lǐng)域互相結(jié)合、相互滲透并相互推動(dòng)。不同領(lǐng)域的科學(xué)家又從各自學(xué)科的興趣與特色出發(fā)，提出不同的問(wèn)題，從不同的角度進(jìn)行研究。

　　人工神經(jīng)網(wǎng)絡(luò)首先要以一定的學(xué)習(xí)準(zhǔn)則進(jìn)行學(xué)習(xí)，然后才能工作。現(xiàn)以人工神經(jīng)網(wǎng)絡(luò)對(duì)手寫(xiě)“A”、“B”兩個(gè)字母的識(shí)別為例進(jìn)行說(shuō)明，規(guī)定當(dāng)“A”輸入網(wǎng)絡(luò)時(shí)，應(yīng)該輸出“1”，而當(dāng)輸入為“B”時(shí)，輸出為“0”。

　　所以網(wǎng)絡(luò)學(xué)習(xí)的準(zhǔn)則應(yīng)該是：如果網(wǎng)絡(luò)作出錯(cuò)誤的判決，則通過(guò)網(wǎng)絡(luò)的學(xué)習(xí)，應(yīng)使得網(wǎng)絡(luò)減少下次犯同樣錯(cuò)誤的可能性。首先，給網(wǎng)絡(luò)的各連接權(quán)值賦予(0，1)區(qū)間內(nèi)的隨機(jī)值，將“A”所對(duì)應(yīng)的圖象模式輸入給網(wǎng)絡(luò)，網(wǎng)絡(luò)將輸入模式加權(quán)求和、與門(mén)限比較、再進(jìn)行非線性運(yùn)算，得到網(wǎng)絡(luò)的輸出。在此情況下，網(wǎng)絡(luò)輸出為“1”和“0”的概率各為50%，也就是說(shuō)是完全隨機(jī)的。這時(shí)如果輸出為“1”(結(jié)果正確)，則使連接權(quán)值增大，以便使網(wǎng)絡(luò)再次遇到“A”模式輸入時(shí)，仍然能作出正確的判斷。

　　普通計(jì)算機(jī)的功能取決于程序中給出的知識(shí)和能力。顯然，對(duì)于智能活動(dòng)要通過(guò)總結(jié)編制程序?qū)⑹掷щy。

　　人工神經(jīng)網(wǎng)絡(luò)也具有初步的自適應(yīng)與自組織能力。在學(xué)習(xí)或訓(xùn)練過(guò)程中改變突觸權(quán)重值，以適應(yīng)周?chē)h(huán)境的要求。同一網(wǎng)絡(luò)因?qū)W習(xí)方式及內(nèi)容不同可具有不同的功能。人工神經(jīng)網(wǎng)絡(luò)是一個(gè)具有學(xué)習(xí)能力的系統(tǒng)，可以發(fā)展知識(shí)，以致超過(guò)設(shè)計(jì)者原有的知識(shí)水平。通常，它的學(xué)習(xí)訓(xùn)練方式可分為兩種，一種是有監(jiān)督或稱(chēng)有導(dǎo)師的學(xué)習(xí)，這時(shí)利用給定的樣本標(biāo)準(zhǔn)進(jìn)行分類(lèi)或模仿；另一種是無(wú)監(jiān)督學(xué)習(xí)或稱(chēng)無(wú)為導(dǎo)師學(xué)習(xí)，這時(shí)，只規(guī)定學(xué)習(xí)方式或某些規(guī)則，則具體的學(xué)習(xí)內(nèi)容隨系統(tǒng)所處環(huán)境（即輸入信號(hào)情況）而異，系統(tǒng)可以自動(dòng)發(fā)現(xiàn)環(huán)境特征和規(guī)律性，具有更近似人腦的功能。

　　神經(jīng)網(wǎng)絡(luò)就像是一個(gè)愛(ài)學(xué)習(xí)的孩子，您教她的知識(shí)她是不會(huì)忘記而且會(huì)學(xué)以致用的。我們把學(xué)習(xí)集（LearningSet）中的每個(gè)輸入加到神經(jīng)網(wǎng)絡(luò)中，并告訴神經(jīng)網(wǎng)絡(luò)輸出應(yīng)該是什么分類(lèi)。在全部學(xué)習(xí)集都運(yùn)行完成之后，神經(jīng)網(wǎng)絡(luò)就根據(jù)這些例子總結(jié)出她自己的想法，到底她是怎么歸納的就是一個(gè)黑盒了。之后我們就可以把測(cè)試集（TestingSet）中的測(cè)試?yán)佑蒙窠?jīng)網(wǎng)絡(luò)來(lái)分別作測(cè)試，如果測(cè)試通過(guò)（比如80%或90%的正確率），那么神經(jīng)網(wǎng)絡(luò)就構(gòu)建成功了。我們之后就可以用這個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)判斷事務(wù)的分類(lèi)了。

　　神經(jīng)網(wǎng)絡(luò)是通過(guò)對(duì)人腦的基本單元——神經(jīng)元的建模和聯(lián)接，探索模擬人腦神經(jīng)系統(tǒng)功能的模型，并研制一種具有學(xué)習(xí)、聯(lián)想、記憶和模式識(shí)別等智能信息處理功能的人工系統(tǒng)。神經(jīng)網(wǎng)絡(luò)的一個(gè)重要特性是它能夠從環(huán)境中學(xué)習(xí)，并把學(xué)習(xí)的結(jié)果分布存儲(chǔ)于網(wǎng)絡(luò)的突觸連接中。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是一個(gè)過(guò)程，在其所處環(huán)境的激勵(lì)下，相繼給網(wǎng)絡(luò)輸入一些樣本模式，并按照一定的規(guī)則（學(xué)習(xí)算法）調(diào)整網(wǎng)絡(luò)各層的權(quán)值矩陣，待網(wǎng)絡(luò)各層權(quán)值都收斂到一定值，學(xué)習(xí)過(guò)程結(jié)束。然后我們就可以用生成的神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)真實(shí)數(shù)據(jù)做分類(lèi)。

　　人工神經(jīng)網(wǎng)絡(luò)早期的研究工作應(yīng)追溯至20世紀(jì)40年代。下面以時(shí)間順序，以著名的人物或某一方面突出的研究成果為線索，簡(jiǎn)要介紹。

　　常見(jiàn)的工具

　　在眾多的神經(jīng)網(wǎng)絡(luò)工具中，NeuroSolutions[1]始終處于業(yè)界領(lǐng)先位置。它是一個(gè)可用于windowsXP/7高度圖形化的神經(jīng)網(wǎng)絡(luò)開(kāi)發(fā)工具。其將模塊化，基于圖標(biāo)的網(wǎng)絡(luò)設(shè)計(jì)界面，先進(jìn)的學(xué)習(xí)程序和遺傳優(yōu)化進(jìn)行了結(jié)合。該款可用于研究和解決現(xiàn)實(shí)世界的復(fù)雜問(wèn)題的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)工具在使用上幾乎無(wú)限制。

　　研究方向

　　神經(jīng)網(wǎng)絡(luò)的研究可以分為理論研究和應(yīng)用研究?jī)纱蠓矫妗?/p>

　　理論研究可分為以下兩類(lèi)：

　　1、利用神經(jīng)生理與認(rèn)知科學(xué)研究人類(lèi)思維以及智能機(jī)理。

　　2、利用神經(jīng)基礎(chǔ)理論的研究成果，用數(shù)理方法探索功能更加完善、性能更加優(yōu)越的神經(jīng)網(wǎng)絡(luò)模型，深入研究網(wǎng)絡(luò)算法和性能，如：穩(wěn)定性、收斂性、容錯(cuò)性、魯棒性等；開(kāi)發(fā)新的網(wǎng)絡(luò)數(shù)理理論，如：神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)、非線性神經(jīng)場(chǎng)等。

　　應(yīng)用研究可分為以下兩類(lèi)：

　　1、神經(jīng)網(wǎng)絡(luò)的軟件模擬和硬件實(shí)現(xiàn)的研究。

　　2、神經(jīng)網(wǎng)絡(luò)在各個(gè)領(lǐng)域中應(yīng)用的研究。這些領(lǐng)域主要包括：

　　模式識(shí)別、信號(hào)處理、知識(shí)工程、專(zhuān)家系統(tǒng)、優(yōu)化組合、機(jī)器人控制等。隨著神經(jīng)網(wǎng)絡(luò)理論本身以及相關(guān)理論、相關(guān)技術(shù)的不斷發(fā)展，神經(jīng)網(wǎng)絡(luò)的應(yīng)用定將更加深入。