從模擬到數字視頻的轉變為安全系統帶來了人們期盼已久的好處，主要就是數字壓縮技術可以傳輸和存儲更多的圖像數據。不過這使得價格有所上升。另外，數字視頻要求部署更多的攝像機，這就需要更多的人來監視攝像機。通過視頻的存儲可以減少需要觀看的工作量，因為在壓縮中所用的運動向量和檢測器可以用來濾除不重要的活動。然而，因為運動向量和檢測器不提供所發生的相關信息，人們必須利用手動的方式來捕獲視頻，以確定是否有值得關注的可疑活動。

因此，出現了研發能夠大大增加監控安全和視頻監控的有效性的驅動力。視頻內容分析，即眾所周知的視頻分析，指的是在一系列視頻幀中識別大量的內容，并使能夠在特定事件發生時發布告警，從而加速實時快速響應。此外，VCA自動搜索特定的內容，從而將人們從繁重的觀看圖像中解放出來。這還將減少視頻監控所需的人員的數量，進而降低了成本。目前，VCA是一項新興的技術，在未來幾年，該技術將會持續發展，快速普及將是切實可行的。

一個確定性的事情是，要在巨量的視頻像素數據中識別出感興趣的目標，VCA需要大量的處理工作。此外，為了滿足各種不同的應用，VCA系統應該能夠可編程，可以接受不同的內容，并能夠適應不斷演進的算法。最新的視頻處理器可以為壓縮，VCA以及數字視頻系統的其他需求提供優異的性能和編程靈活性。而對處理器形成補充的軟件平臺和工具也幫助設計時簡化了安全監控產品的開發。隨著VCA技術的發展，可以很容易地實現，因為所需的技術目前都已經出現了。

VCA工作流程

迄今為止，關于VCA還沒有相關的國際標準，不過普通的工作流程可以被描述為：

1. 一個較長的序列被分割成可供分析的單獨場景或短片。因為不同的場景具有不同的直方圖，或不同的色彩頻率分布，其直方圖相對于前面有突變的幀時可以被視為場景改變；

2. 改變場景內的前景目標被檢測為與背景分離；

3. 單獨的前景目標被提取或者被分割，然后逐幀跟蹤。跟蹤包括檢測目標的位置和速度，它可能不斷變化或臨時靜止；

4. 當需要識別時，該目標的特征被提取，以進行分類；

5. 如果該事件某種程度上像關注的目標，則向管理軟件和/或管理人員發布告警。

前景/背景檢測

期望VCA能夠檢測出變化或者可疑的活動，相對于通常為靜止或者不關注的背景，這些活動正在前景中變化。過去，對前景/背景檢測的運算有限。而如今，高性能的數字信號處理器和視頻處理器使得更復雜的檢測算法的實現成為可能。通常，有兩種方法可實現前景/背景檢測：

1. 非自適應方法：僅利用少量的幀且不保持背景模型；

2. 自適應方法：保持隨時間不斷變化的背景模型。在自適應VCA算法中，利用來自上述流程的2-4步的反饋被送出，用來更新和維持背景模型，然后又被用作為第1步的輸入。

非自適應監測

在最簡單的非自適應方案中，從之前幀的各像素值中減去當前幀對應像素的數值，目的是確定絕對差值。然后將該像素絕對值與預定的門限進行比較，該門限來自圖像生成器，代表對現場中的噪聲進行補償后的0電平。如果該絕對值超過了門限，則相應的像素屬于前景。反之，則屬于背景。如果多個前景像素連成整體則顯示兩個前后幀中的前景發生了改變。

圖中1蓋掉了背景，留下的僅是在當前幀中顯示出運動車輛的前景像素，以及之前幀中的“重影”。

圖1：基于三個圖像幀的前景/背景檢測
上述重影的存在意味著僅有兩幀可用于簡單運動檢測，而不需要目標跟蹤和識別。除了重影圖像外，在前景中可能會誤識別其他像素噪聲。可以稍微增加一些運算量，即在算法中引入一個額外的幀來改進前景的圖像質量。利用三個幀，確定當前幀和前一幀之間每個像素間的絕對差(圖1A)，然后再確定當前幀與下一幀的逐個像素的絕對差，于是，重影目標就會出現在不同的位置上(圖1B)。如果兩個絕對差都超過了門限，則相應的像素就屬于前景。反之屬于背景。1A和1B中的重影消失后，僅留下1C中的圖像，即為前景。

利用三個圖像幀，實現控制環境中的短期視頻目標的跟蹤和識別是可能的。即便如此，非自適應的解決方案也僅僅適用于高度監管的、場景中沒有大變化的短期跟蹤應用。當場景或背景變化時，需要用手動的方式重新初始化。否則，錯誤將隨時間累積，導致不可信的結果。

自適應檢測

由于非自適應解決方案的限制，在VCA應用中，目前正在實現自適應的前景/背景檢測。自適應檢測維持背景模型，通過對每兩個視頻幀中的數據進行混合使得該模型連續更新。自適應方案需要的處理量比非自適應方案要多，背景模型中的復雜度也變高。在基本的自適應方案中，算法從當前視頻幀中按逐個像素減去背景模型，以便確定前景(這與非自適應算法中的減去后續幀的做法相反)。得到的結果被反饋到模型中，使之自適應即將發生的背景變化，而無需復位。該方案在目標在不斷運動或者背景噪聲長時間存在的許多視頻監控場景中都很有效。

更復雜的前景/背景檢測基于統計背景模型，在該模型中，指定幀中的每一個背景像素被建模成一個遵從高斯分布的隨機變量。每個像素的均值和標準方差隨時間變化，具體取決于每幀中的視頻數據。例如，如果在場景中包括河岸和一條河，落到水面上的光線將會使河面像素產生比相對沒有什么變化的河岸像素大得多的方差。通過與從背景模型中的相關像素的標準方差導出的門限比較來確定當前幀中的像素是前景還是背景。換句話說，若要指定某個像素為前景，如果隨后有大的變化(河流)，則該像素應該呈現一個與背景像素很大的差別，而如果背景像素的變化很小(河岸)，則該差別會很小。

當場景中的不同區域的光條件或噪聲電平不同時，該解決方案最有效，因為如果設置一個僅考慮高噪聲電平的統一門限，當目標進入到低噪聲區域(河岸)時就會消失。

目標跟蹤/識別

在前景/背景檢測之后，生成一個掩膜圖(圖1C)。由于存在環境噪聲，單個目標的所有部分將不會關聯在一起，故在將所有部分關聯成整體之前，需要進行形態的擴展計算增強過程。擴展包括在掩膜圖上加一個網格，計算網格中每個區域中的前景像素數量，然后計算每個區域中像素的剩余部分，該區域中的數量顯示哪些分離的目標應該被關聯到一起。

在擴展和分量關聯后，為每個目標提供一個包圍框，這是一個包括整個目標(因為它將出現在不同的幀中)的小矩形方塊，從而產生了圖2所示的分割。