如何應對實時視頻處理

1781530 2022-11-28 | pdf | 220.96KB | 次下載 | 免費

資料介紹

人腦是我們所知道的最先進的緊湊型處理單元；但是圖像處理方面的改進可能會讓機器很快超越我們，這要歸功于新的處理器、工具、架構和軟件。新技術及其快速采用為工業制造和檢測以及醫藥、消費電子/游戲，當然還有機器人技術帶來了巨大的潛力。人腦是我們所知道的最先進的緊湊型處理單元；但是圖像處理方面的改進可能會讓機器很快超越我們，這要歸功于新的處理器、工具、架構和軟件。新技術及其快速采用為工業制造和檢測以及醫藥、消費電子/游戲，當然還有機器人技術帶來了巨大的潛力。現在，我們在執行簡單任務（例如裝滿水）時執行高級功能，例如比例、積分和微分 (PID) 功能。事實上，我們進行如此復雜的運動控制和平衡，機器人可能很快就會羨慕我們。然而，我們的一項杰出能力是我們能夠在我們的視野中挑選出模式、執行物體識別、深度感知、跟蹤運動和測量相對速度甚至加速度，這使我們與大多數機器不同。現在，我們在執行簡單任務（例如裝滿水）時執行高級功能，例如比例、積分和微分 (PID) 功能。事實上，我們進行如此復雜的運動控制和平衡，機器人可能很快就會羨慕我們。然而，我們的一項杰出能力是我們能夠在我們的視野中挑選出模式、執行物體識別、深度感知、跟蹤運動和測量相對速度甚至加速度，這使我們與大多數機器不同。早期的圖像處理側重于澄清靜止圖像，許多用于邊緣增強和呈現細微細節的算法并未在快速幀速率和高分辨率圖像上執行。處理器更簡單、更慢，并且執行 DSP 功能的能力更差，因此結果是粗略的、獲取速度慢的，并且遠不及敏銳的人眼和大腦那么可靠。早期的圖像處理側重于澄清靜止圖像，許多用于邊緣增強和呈現細微細節的算法并未在快速幀速率和高分辨率圖像上執行。處理器更簡單、更慢，并且執行 DSP 功能的能力更差，因此結果是粗略的、獲取速度慢的，并且遠不及敏銳的人眼和大腦那么可靠。然而，隨著我們對機器的進化，我們開始賦予它們我們無法比擬的卓越能力，而圖像和實時視頻處理是我們未來的機器（霸主？）將擁有的這些能力之一。這要歸功于我們現在正在制定的處理器、工具、算法和啟發式方法，我們能夠為機器提供這些功能，這些功能可能很快就會遠遠超過我們自己的功能。然而，隨著我們對機器的進化，我們開始賦予它們我們無法比擬的卓越能力，而圖像和實時視頻處理是我們未來的機器（霸主？）將擁有的這些能力之一。這要歸功于我們現在正在制定的處理器、工具、算法和啟發式方法，我們能夠為機器提供這些功能，這些功能可能很快就會遠遠超過我們自己的功能。內存和架構很重要內存和架構很重要視頻信息在數字域中進行處理，因此無論圖像來自隔行還是非隔行的 NTSC、PAL、RGB、YUB、分量或 HD 源都無關緊要。前端同步和解碼器芯片以及硬件階段可以很好地捕獲圖像像素并將它們填充到內存陣列中，通常作為光柵化掃描線。視頻信息在數字域中進行處理，因此無論圖像來自隔行還是非隔行的 NTSC、PAL、RGB、YUB、分量或 HD 源都無關緊要。前端同步和解碼器芯片以及硬件階段可以很好地捕獲圖像像素并將它們填充到內存陣列中，通常作為光柵化掃描線。然而，內存架構和拓撲確實很重要，因為它們會影響處理器訪問和操作數據的方式。例如，您可以以線性方式將圖像數據壓縮到內存中，但這可能意味著相鄰幀不會在位可尋址內存邊界處對齊。例如，讓幀掃??描線的第一行與二進制計數器的零點對齊會更快更容易。如果不需要復雜的尋址方案來索引和逐幀查看視野的同一部分，則比較連續的幀數據變得更容易訪問和獲取。然而，內存架構和拓撲確實很重要，因為它們會影響處理器訪問和操作數據的方式。例如，您可以以線性方式將圖像數據壓縮到內存中，但這可能意味著相鄰幀不會在位可尋址內存邊界處對齊。例如，讓幀掃??描線的第一行與二進制計數器的零點對齊會更快更容易。如果不需要復雜的尋址方案來索引和逐幀查看視野的同一部分，則比較連續的幀數據變得更容易訪問和獲取。另一個可以簡化視頻處理和信息提取的內存相關因素與位平面分離有關，尤其是隨著像素分辨率和調色板深度的增加。發生這種情況時，以最高有效位 (MSB) 到最低有效位 (LSB) 的方式查看單色圖像的能力使邊界和邊緣更加突出（圖 1）。僅查看 MSB 渲染圖像時會出現最大的對比。查看連續的不太重要的位渲染圖像，可以提取一些深度和層次信息。另一個可以簡化視頻處理和信息提取的內存相關因素與位平面分離有關，尤其是隨著像素分辨率和調色板深度的增加。發生這種情況時，以最高有效位 (MSB) 到最低有效位 (LSB) 的方式查看單色圖像的能力使邊界和邊緣更加突出（圖 1）。僅查看 MSB 渲染圖像時會出現最大的對比。查看連續的不太重要的位渲染圖像，可以提取一些深度和層次信息。圖 1：位平面分離使邊緣更清晰，因為最高有效位 (MSB) 比最低有效位 (LSB) 顯示出更多對比度。這意味著需要抽取并行視頻數據并將位大小分離到單獨的單色存儲平面中。（來源：得捷電子）圖 1：位平面分離使邊緣更清晰，因為最高有效位 (MSB) 比最低有效位 (LSB) 顯示出更多對比度。