計算機視覺

 定義

　　計算機視覺是使用計算機及相關設備對生物視覺的一種模擬。它的主要任務就是通過對采集的圖片或視頻進行處理以獲得相應場景的三維信息，就像人類和許多其他類生物每天所做的那樣。

　　計算機視覺是一門關于如何運用照相機和計算機來獲取我們所需的，被拍攝對象的數(shù)據(jù)與信息的學問。形象地說，就是給計算機安裝上眼睛（照相機）和大腦（算法），讓計算機能夠感知環(huán)境。我們中國人的成語"眼見為實"和西方人常說的"One picture is worth ten thousand words"表達了視覺對人類的重要性。不難想象，具有視覺的機器的應用前景能有多么地寬廣。

　　計算機視覺既是工程領域，也是科學領域中的一個富有挑戰(zhàn)性重要研究領域。計算機視覺是一門綜合性的學科，它已經(jīng)吸引了來自各個學科的研究者參加到對它的研究之中。其中包括計算機科學和工程、信號處理、物理學、應用數(shù)學和統(tǒng)計學，神經(jīng)生理學和認知科學等。

解析

　　視覺是各個應用領域，如制造業(yè)、檢驗、文檔分析、醫(yī)療診斷，和軍事等領域中各種智能/自主系統(tǒng)中不可分割的一部分。由于它的重要性，一些先進國家，例如美國把對計算機視覺的研究列為對經(jīng)濟和科學有廣泛影響的科學和工程中的重大基本問題，即所謂的重大挑戰(zhàn)（grand challenge）。計算機視覺的挑戰(zhàn)是要為計算機和機器人開發(fā)具有與人類水平相當?shù)囊曈X能力。機器視覺需要圖象信號，紋理和顏色建模，幾何處理和推理，以及物體建模。一個有能力的視覺系統(tǒng)應該把所有這些處理都緊密地集成在一起。作為一門學科，計算機視覺開始于60年代初，但在計算機視覺的基本研究中的許多重要進展是在80年代取得的。計算機視覺與人類視覺密切相關，對人類視覺有一個正確的認識將對計算機視覺的研究非常有益。為此我們將先介紹人類視覺。

原理

　　計算機視覺就是用各種成象系統(tǒng)代替視覺器官作為輸入敏感手段，由計算機來代替大腦完成處理和解釋。計算機視覺的最終研究目標就是使計算機能象人那樣通過視覺觀察和理解世界，具有自主適應環(huán)境的能力。要經(jīng)過長期的努力才能達到的目標。因此，在實現(xiàn)最終目標以前，人們努力的中期目標是建立一種視覺系統(tǒng)，這個系統(tǒng)能依據(jù)視覺敏感和反饋的某種程度的智能完成一定的任務。例如，計算機視覺的一個重要應用領域就是自主車輛的視覺導航，還沒有條件實現(xiàn)象人那樣能識別和理解任何環(huán)境，完成自主導航的系統(tǒng)。因此，人們努力的研究目標是實現(xiàn)在高速公路上具有道路跟蹤能力，可避免與前方車輛碰撞的視覺輔助駕駛系統(tǒng)。這里要指出的一點是在計算機視覺系統(tǒng)中計算機起代替人腦的作用，但并不意味著計算機必須按人類視覺的方法完成視覺信息的處理。計算機視覺可以而且應該根據(jù)計算機系統(tǒng)的特點來進行視覺信息的處理。但是，人類視覺系統(tǒng)是迄今為止，人們所知道的功能最強大和完善的視覺系統(tǒng)。如在以下的章節(jié)中會看到的那樣，對人類視覺處理機制的研究將給計算機視覺的研究提供啟發(fā)和指導。因此，用計算機信息處理的方法研究人類視覺的機理，建立人類視覺的計算理論，也是一個非常重要和信人感興趣的研究領域。這方面的研究被稱為計算視覺（Computational Vision）。計算視覺可被認為是計算機視覺中的一個研究領域。

相關

　　有不少學科的研究目標與計算機視覺相近或與此有關。這些學科中包括圖像處理、模式識別或圖像識別、景物分析、圖象理解等。計算機視覺包括圖像處理和模式識別，除此之外，它還包括空間形狀的描述，幾何建模以及認識過程。實現(xiàn)圖像理解是計算機視覺的終極目標。

圖像處理

　　圖像處理技術把輸入圖像轉換成具有所希望特性的另一幅圖像。例如，可通過處理使輸出圖象有較高的信-噪比，或通過增強處理突出圖象的細節(jié)，以便于操作員的檢驗。在計算機視覺研究中經(jīng)常利用圖象處理技術進行預處理和特征抽取。

模式識別

　　模式識別技術根據(jù)從圖象抽取的統(tǒng)計特性或結構信息，把圖像分成予定的類別。例如，文字識別或指紋識別。在計算機視覺中模式識別技術經(jīng)常用于對圖象中的某些部分，例如分割區(qū)域的識別和分類。

圖像理解

　　給定一幅圖像，圖象理解程序不僅描述圖象本身，而且描述和解釋圖象所代表的景物，以便對圖像代表的內(nèi)容作出決定。在人工智能視覺研究的初期經(jīng)常使用景物分析這個術語，以強調(diào)二維圖象與三維景物之間的區(qū)別。圖象理解除了需要復雜的圖象處理以外還需要具有關于景物成象的物理規(guī)律的知識以及與景物內(nèi)容有關的知識。

　　在建立計算機視覺系統(tǒng)時需要用到上述學科中的有關技術，但計算機視覺研究的內(nèi)容要比這些學科更為廣泛。計算機視覺的研究與人類視覺的研究密切相關。為實現(xiàn)建立與人的視覺系統(tǒng)相類似的通用計算機視覺系統(tǒng)的目標需要建立人類視覺的計算機理論。

現(xiàn)狀

　　計算機視覺領域的突出特點是其多樣性與不完善性。這一領域的先驅可追溯到更早的時候，但是直到20世紀70年代后期，當計算機的性能提高到足以處理諸如圖像這樣的大規(guī)模數(shù)據(jù)時，計算機視覺才得到了正式的關注和發(fā)展。然而這些發(fā)展往往起源于其他不同領域的需要，因而何謂“計算機視覺問題”始終沒有得到正式定義，很自然地，“計算機視覺問題”應當被如何解決也沒有成型的公式。

　　盡管如此，人們已開始掌握部分解決具體計算機視覺任務的方法，可惜這些方法通常都僅適用于一群狹隘的目標（如：臉孔、指紋、文字等），因而無法被廣泛地應用于不同場合。

　　對這些方法的應用通常作為某些解決復雜問題的大規(guī)模系統(tǒng)的一個組成部分（例如醫(yī)學圖像的處理，工業(yè)制造中的質量控制與測量）。在計算機視覺的大多數(shù)實際應用當中，計算機被預設為解決特定的任務，然而基于機器學習的方法正日漸普及，一旦機器學習的研究進一步發(fā)展，未來“泛用型”的電腦視覺應用或許可以成真。

　　人工智能所研究的一個主要問題是：如何讓系統(tǒng)具備“計劃”和“決策能力”？從而使之完成特定的技術動作（例如：移動一個機器人通過某種特定環(huán)境）。這一問題便與計算機視覺問題息息相關。在這里，計算機視覺系統(tǒng)作為一個感知器，為決策提供信息。另外一些研究方向包括模式識別和機器學習（這也隸屬于人工智能領域，但與計算機視覺有著重要聯(lián)系），也由此，計算機視覺時常被看作人工智能與計算機科學的一個分支。

　　物理是與計算機視覺有著重要聯(lián)系的另一領域。

　　計算機視覺關注的目標在于充分理解電磁波——主要是可見光與紅外線部分——遇到物體表面被反射所形成的圖像，而這一過程便是基于光學物理和固態(tài)物理，一些尖端的圖像感知系統(tǒng)甚至會應用到量子力學理論，來解析影像所表示的真實世界。同時，物理學中的很多測量難題也可以通過計算機視覺得到解決，例如流體運動。也由此，計算機視覺同樣可以被看作是物理學的拓展。

　　另一個具有重要意義的領域是神經(jīng)生物學，尤其是其中生物視覺系統(tǒng)的部分。

　　在整個20世紀中，人類對各種動物的眼睛、神經(jīng)元、以及與視覺刺激相關的腦部組織都進行了廣泛研究，這些研究得出了一些有關“天然的”視覺系統(tǒng)如何運作的描述（盡管仍略嫌粗略），這也形成了計算機視覺中的一個子領域——人們試圖建立人工系統(tǒng)，使之在不同的復雜程度上模擬生物的視覺運作。同時計算機視覺領域中，一些基于機器學習的方法也有參考部分生物機制。

　　計算機視覺的另一個相關領域是信號處理。很多有關單元變量信號的處理方法，尤其是對時變信號的處理，都可以很自然的被擴展為計算機視覺中對二元變量信號或者多元變量信號的處理方法。但由于圖像數(shù)據(jù)的特有屬性，很多計算機視覺中發(fā)展起來的方法，在單元信號的處理方法中卻找不到對應版本。這類方法的一個主要特征，便是他們的非線性以及圖像信息的多維性，以上二點作為計算機視覺的一部分，在信號處理學中形成了一個特殊的研究方向。

　　除了上面提到的領域，很多研究課題同樣可被當作純粹的數(shù)學問題。例如，計算機視覺中的很多問題，其理論基礎便是統(tǒng)計學，最優(yōu)化理論以及幾何學。

　　如何使既有方法通過各種軟硬件實現(xiàn)，或說如何對這些方法加以修改，而使之獲得合理的執(zhí)行速度而又不損失足夠精度，是現(xiàn)今電腦視覺領域的主要課題。

應用

　　人類正在進入信息時代，計算機將越來越廣泛地進入幾乎所有領域。一方面是更多未經(jīng)計算機專業(yè)訓練的人也需要應用計算機，而另一方面是計算機的功能越來越強，使用方法越來越復雜。這就使人在進行交談和通訊時的靈活性與在使用計算機時所要求的嚴格和死板之間產(chǎn)生了尖銳的矛盾。人可通過視覺和聽覺，語言與外界交換信息，并且可用不同的方式表示相同的含義，而計算機卻要求嚴格按照各種程序語言來編寫程序，只有這樣計算機才能運行。為使更多的人能使用復雜的計算機，必須改變過去的那種讓人來適應計算機，來死記硬背計算機的使用規(guī)則的情況。而是反過來讓計算機來適應人的習慣和要求，以人所習慣的方式與人進行信息交換，也就是讓計算機具有視覺、聽覺和說話等能力。這時計算機必須具有邏輯推理和決策的能力。具有上述能力的計算機就是智能計算機。

　　智能計算機不但使計算機更便于為人們所使用，同時如果用這樣的計算機來控制各種自動化裝置特別是智能機器人，就可以使這些自動化系統(tǒng)和智能機器人具有適應環(huán)境，和自主作出決策的能力。這就可以在各種場合取代人的繁重工作，或代替人到各種危險和惡劣環(huán)境中完成任務。

　　應用范圍從任務，比如工業(yè)機器視覺系統(tǒng)，比方說，檢查瓶子上的生產(chǎn)線加速通過，研究為人工智能和計算機或機器人，可以理解他們周圍的世界。計算機視覺和機器視覺領域有顯著的重疊。計算機視覺涉及的被用于許多領域自動化圖像分析的核心技術。機器視覺通常指的是結合自動圖像分析與其他方法和技術，以提供自動檢測和機器人指導在工業(yè)應用中的一個過程。在許多計算機視覺應用中，計算機被預編程，以解決特定的任務，但基于學習的方法現(xiàn)在正變得越來越普遍。計算機視覺應用的實例包括用于系統(tǒng)：

　?。?）控制過程，比如，一個工業(yè)機器人 ；

　　（2）導航，例如，通過自主汽車或移動機器人；

　?。?）檢測的事件，如，對視頻監(jiān)控和人數(shù)統(tǒng)計 ；

　　（4）組織信息，例如，對于圖像和圖像序列的索引數(shù)據(jù)庫；

　?。?）造型對象或環(huán)境，如，醫(yī)學圖像分析系統(tǒng)或地形模型；

　　（6）相互作用，例如，當輸入到一個裝置，用于計算機人的交互；

　?。?）自動檢測，例如，在制造業(yè)的應用程序。

　　其中最突出的應用領域是醫(yī)療計算機視覺和醫(yī)學圖像處理。這個區(qū)域的特征的信息從圖像數(shù)據(jù)中提取用于使患者的醫(yī)療診斷的目的。通常，圖像數(shù)據(jù)是在形式顯微鏡圖像，X射線圖像，血管造影圖像，超聲圖像和斷層圖像。的信息，可以從這樣的圖像數(shù)據(jù)中提取的一個例子是檢測的腫瘤，動脈粥樣硬化或其他惡性變化。它也可以是器官的尺寸，血流量等。這種應用領域還支持通過提供新的信息，醫(yī)學研究的測量例如，對腦的結構，或約醫(yī)學治療的質量。計算機視覺在醫(yī)療領域的應用還包括增強是由人類的解釋，例如超聲圖像或X射線圖像，以降低噪聲的影響的圖像。

　　第二個應用程序區(qū)域中的計算機視覺是在工業(yè)，有時也被稱為機器視覺，在那里信息被提取為支撐的制造工序的目的。一個例子是質量控制，其中的信息或最終產(chǎn)品被以找到缺陷自動檢測。另一個例子是，被拾取的位置和細節(jié)取向測量由機器人臂。機器視覺也被大量用于農(nóng)業(yè)的過程，從散裝材料，這個過程被稱為去除不想要的東西，食物的光學分揀。

　　軍事上的應用很可能是計算機視覺最大的地區(qū)之一。最明顯的例子是探測敵方士兵或車輛和導彈制導。更先進的系統(tǒng)為導彈制導發(fā)送導彈的區(qū)域，而不是一個特定的目標，并且當導彈到達基于本地獲取的圖像數(shù)據(jù)的區(qū)域的目標做出選擇。現(xiàn)代軍事概念，如“戰(zhàn)場感知”，意味著各種傳感器，包括圖像傳感器，提供了豐富的有關作戰(zhàn)的場景，可用于支持戰(zhàn)略決策的信息。在這種情況下，數(shù)據(jù)的自動處理，用于減少復雜性和融合來自多個傳感器的信息，以提高可靠性。

　　一個較新的應用領域是自主車，其中包括潛水，陸上車輛（帶輪子，轎車或卡車的小機器人），高空作業(yè)車和無人機（UAV）。自主化水平，從完全獨立的（無人）的車輛范圍為汽車，其中基于計算機視覺的系統(tǒng)支持驅動程序或在不同情況下的試驗。完全自主的汽車通常使用計算機視覺進行導航時，即知道它在哪里，或用于生產(chǎn)的環(huán)境（地圖SLAM）和用于檢測障礙物。它也可以被用于檢測特定任務的特定事件，例如，一個UAV尋找森林火災。支承系統(tǒng)的例子是障礙物警報系統(tǒng)中的汽車，以及用于飛行器的自主著陸系統(tǒng)。數(shù)家汽車制造商已經(jīng)證明了系統(tǒng)的汽車自動駕駛，但該技術還沒有達到一定的水平，就可以投放市場。有軍事自主車型，從先進的導彈，無人機的偵察任務或導彈的制導充足的例子。太空探索已經(jīng)正在使用計算機視覺，自主車比如，美國宇航局的火星探測漫游者和歐洲航天局的ExoMars火星漫游者。

　　其他應用領域包括：

　?。?）支持視覺特效制作的電影和廣播，例如，攝像頭跟蹤（運動匹配）。

　?。?）監(jiān)視。

異同

　　計算機視覺，圖象處理，圖像分析，機器人視覺和機器視覺是彼此緊密關聯(lián)的學科。如果你翻開帶有上面這些名字的教材，你會發(fā)現(xiàn)在技術和應用領域上他們都有著相當大部分的重疊。這表明這些學科的基礎理論大致是相同的，甚至讓人懷疑他們是同一學科被冠以不同的名稱。

　　然而，各研究機構，學術期刊，會議及公司往往把自己特別的歸為其中某一個領域，于是各種各樣的用來區(qū)分這些學科的特征便被提了出來。下面將給出一種區(qū)分方法，盡管并不能說這一區(qū)分方法完全準確。

　　計算機視覺的研究對象主要是映射到單幅或多幅圖像上的三維場景，例如三維場景的重建。計算機視覺的研究很大程度上針對圖像的內(nèi)容。

　　圖象處理與圖像分析的研究對象主要是二維圖像，實現(xiàn)圖像的轉化，尤其針對像素級的操作，例如提高圖像對比度，邊緣提取，去噪聲和幾何變換如圖像旋轉。這一特征表明無論是圖像處理還是圖像分析其研究內(nèi)容都和圖像的具體內(nèi)容無關。

　　機器視覺主要是指工業(yè)領域的視覺研究，例如自主機器人的視覺，用于檢測和測量的視覺。這表明在這一領域通過軟件硬件，圖像感知與控制理論往往與圖像處理得到緊密結合來實現(xiàn)高效的機器人控制或各種實時操作。

　　模式識別使用各種方法從信號中提取信息，主要運用統(tǒng)計學的理論。此領域的一個主要方向便是從圖像數(shù)據(jù)中提取信息。

　　還有一個領域被稱為成像技術。這一領域最初的研究內(nèi)容主要是制作圖像，但有時也涉及到圖像分析和處理。例如，醫(yī)學成像就包含大量的醫(yī)學領域的圖像分析。

　　對于所有這些領域，一個可能的過程是你在計算機視覺的實驗室工作，工作中從事著圖象處理，最終解決了機器視覺領域的問題，然后把自己的成果發(fā)表在了模式識別的會議上。

問題

　　幾乎在每個計算機視覺技術的具體應用都要解決一系列相同的問題。這些經(jīng)典的問題包括：

　　識別

　　一個計算機視覺，圖像處理和機器視覺所共有的經(jīng)典問題便是判定一組圖像數(shù)據(jù)中是否包含某個特定的物體，圖像特征或運動狀態(tài)。這一問題通?？梢酝ㄟ^機器自動解決，但是到目前為止，還沒有某個單一的方法能夠廣泛的對各種情況進行判定：在任意環(huán)境中識別任意物體?，F(xiàn)有技術能夠也只能夠很好地解決特定目標的識別，比如簡單幾何圖形識別，人臉識別，印刷或手寫文件識別或者車輛識別。而且這些識別需要在特定的環(huán)境中，具有指定的光照，背景和目標姿態(tài)要求。

　　廣義的識別在不同的場合又演化成了幾個略有差異的概念：

　　識別（狹義的）：對一個或多個經(jīng)過預先定義或學習的物體或物類進行辨識，通常在辨識過程中還要提供他們的二維位置或三維姿態(tài)。

　　鑒別：識別辨認單一物體本身。例如：某一人臉的識別，某一指紋的識別。

　　監(jiān)測：從圖像中發(fā)現(xiàn)特定的情況內(nèi)容。例如：醫(yī)學中對細胞或組織不正常技能的發(fā)現(xiàn)，交通監(jiān)視儀器對過往車輛的發(fā)現(xiàn)。監(jiān)測往往是通過簡單的圖象處理發(fā)現(xiàn)圖像中的特殊區(qū)域，為后繼更復雜的操作提供起點。

　　識別的幾個具體應用方向：

　　基于內(nèi)容的圖像提取：在巨大的圖像集合中尋找包含指定內(nèi)容的所有圖片。被指定的內(nèi)容可以是多種形式，比如一個紅色的大致是圓形的圖案，或者一輛自行車。在這里對后一種內(nèi)容的尋找顯然要比前一種更復雜，因為前一種描述的是一個低級直觀的視覺特征，而后者則涉及一個抽象概念（也可以說是高級的視覺特征），即‘自行車’，顯然的一點就是自行車的外觀并不是固定的。

　　姿態(tài)評估：對某一物體相對于攝像機的位置或者方向的評估。例如：對機器臂姿態(tài)和位置的評估。

　　光學字符識別對圖像中的印刷或手寫文字進行識別鑒別，通常的輸出是將之轉化成易于編輯的文檔形式。

　　運動

　　基于序列圖像的對物體運動的監(jiān)測包含多種類型，諸如：

　　自體運動：監(jiān)測攝像機的三維剛性運動。

　　圖像跟蹤：跟蹤運動的物體。

　　場景重建

　　給定一個場景的二或多幅圖像或者一段錄像，場景重建尋求為該場景建立一個計算機模型/三維模型。最簡單的情況便是生成一組三維空間中的點。更復雜的情況下會建立起完整的三維表面模型。

　　圖像恢復

　　圖像恢復的目標在于移除圖像中的噪聲，例如儀器噪聲，模糊等。

系統(tǒng)

　　計算機視覺系統(tǒng)的結構形式很大程度上依賴于其具體應用方向。有些是獨立工作的，用于解決具體的測量或檢測問題；也有些作為某個大型復雜系統(tǒng)的組成部分出現(xiàn)，比如和機械控制系統(tǒng)，數(shù)據(jù)庫系統(tǒng)，人機接口設備協(xié)同工作。計算機視覺系統(tǒng)的具體實現(xiàn)方法同時也由其功能決定——是預先固定的抑或是在運行過程中自動學習調(diào)整。盡管如此，有些功能卻幾乎是每個計算機系統(tǒng)都需要具備的：

　　圖像獲取

　　一幅數(shù)字圖像是由一個或多個圖像感知器產(chǎn)生，這里的感知器可以是各種光敏攝像機，包括遙感設備，X射線斷層攝影儀，雷達，超聲波接收器等。取決于不同的感知器，產(chǎn)生的圖片可以是普通的二維圖像，三維圖組或者一個圖像序列。圖片的像素值往往對應于光在一個或多個光譜段上的強度（灰度圖或彩色圖），但也可以是相關的各種物理數(shù)據(jù)，如聲波，電磁波或核磁共振的深度，吸收度或反射度。

　　預處理

　　在對圖像實施具體的計算機視覺方法來提取某種特定的信息前，一種或一些預處理往往被采用來使圖像滿足后繼方法的要求。例如：

　　二次取樣保證圖像坐標的正確；

　　平滑去噪來濾除感知器引入的設備噪聲；

　　提高對比度來保證實現(xiàn)相關信息可以被檢測到；

　　調(diào)整尺度空間使圖像結構適合局部應用。

　　特征提取

　　從圖像中提取各種復雜度的特征。例如：

　　線，邊緣提??；

　　局部化的特征點檢測如邊角檢測，斑點檢測；

更復雜的特征可能與圖像中的紋理形狀或運動有關。

　　檢測分割

　　在圖像處理過程中，有時會需要對圖像進行分割來提取有價值的用于后繼處理的部分，例如

　　篩選特征點；

　　分割一或多幅圖片中含有特定目標的部分。

　　高級處理

　　到了這一步，數(shù)據(jù)往往具有很小的數(shù)量，例如圖像中經(jīng)先前處理被認為含有目標物體的部分。這時的處理包括：

　　驗證得到的數(shù)據(jù)是否符合前提要求；

　　估測特定系數(shù)，比如目標的姿態(tài)，體積；

　　對目標進行分類。

　　高級處理有理解圖像內(nèi)容的含義，是計算機視覺中的高階處理，主要是在圖像分割的基礎上再經(jīng)行對分割出的圖像塊進行理解，例如進行識別等操作。

要件

　　光源布局影響大需審慎考量。

　　正確的選擇鏡組，考量倍率、空間、尺寸、失真… 。

　　選擇合適的攝影機(CCD)，考量功能、規(guī)格、穩(wěn)定性、耐用...。

　　視覺軟件開發(fā)需靠經(jīng)驗累積，多嘗試、思考問題的解決途徑。

　　以創(chuàng)造精度的不斷提升，縮短處理時間為最終目標。