開發(fā)專欄
NEW
拍攝圖像和影像的半導(dǎo)體裝置—圖像傳感器常被裝載于數(shù)碼相機(jī)和智能手機(jī)、汽車等各種電子設(shè)備上。但是，光靠圖像傳感器(Image Sensor)是無法完全發(fā)揮全部機(jī)能的。需要與負(fù)責(zé)圖像處理的「Image Signal Processor（ISP）」一起使用，缺一不可。但問題在于ISP的固件開發(fā)非常困難。為了解決這一問題，Thine Electronics開始提供「相機(jī)開發(fā)工具（CDK）」。這次我們將就CDK開發(fā)的背景和實(shí)際采用時(shí)的效能等進(jìn)行解說。
對圖像傳感器來說ISP是不可或缺的
圖像傳感器的應(yīng)用范圍很廣泛。不僅可用于數(shù)碼相機(jī)和智能手機(jī)等，在汽車、監(jiān)控?cái)z像頭、產(chǎn)業(yè)機(jī)械、投影儀（visualizer）、WEB會(huì)議系統(tǒng)、醫(yī)療用電子設(shè)備；甚至在AR(擴(kuò)增實(shí)境) 、VR(虛擬實(shí)境) 、MR(混合實(shí)境)等對應(yīng)XR設(shè)備的使用率也在急速增加。
要在這些電子設(shè)備里裝入圖像傳感器就必須用到「Image Signal Processor（ISP）」。因?yàn)閮H憑圖像傳感器拍攝出的圖像數(shù)據(jù)只能稱作「不完全的圖」。需要使用ISP來去除噪點(diǎn)、調(diào)整明暗度、校正被攝物的焦點(diǎn) (focus)等作出各種處理。具體來說需要經(jīng)過Demosaic（Debayer）、降噪、自動(dòng)曝光 (AE)、自動(dòng)對焦等處理來做成「完全的圖」（圖1）。
因此，要在電子設(shè)備里安裝圖像傳感器需要選擇并使用最合適的ISP。但根據(jù)電子設(shè)備的不同，ISP的形式也會(huì)有所不同。在智能手機(jī)中大多會(huì)使用面向移動(dòng)終端的芯片組內(nèi)整合的ISP機(jī)能。極少會(huì)使用獨(dú)立IC。其他電子設(shè)備中則較常使用獨(dú)立ISP芯片或者裝載了IP核化的ISP的FPGA。
要在這些電子設(shè)備里裝入圖像傳感器就必須用到「Image Signal Processor（ISP）」。因?yàn)閮H憑圖像傳感器拍攝出的圖像數(shù)據(jù)只能稱作「不完全的圖」。需要使用ISP來去除噪點(diǎn)、調(diào)整明暗度、校正被攝物的焦點(diǎn) (focus)等作出各種處理。具體來說需要經(jīng)過Demosaic（Debayer）、降噪、自動(dòng)曝光 (AE)、自動(dòng)對焦等處理來做成「完全的圖」（圖1）。
因此，要在電子設(shè)備里安裝圖像傳感器需要選擇并使用最合適的ISP。但根據(jù)電子設(shè)備的不同，ISP的形式也會(huì)有所不同。在智能手機(jī)中大多會(huì)使用面向移動(dòng)終端的芯片組內(nèi)整合的ISP機(jī)能。極少會(huì)使用獨(dú)立IC。其他電子設(shè)備中則較常使用獨(dú)立ISP芯片或者裝載了IP核化的ISP的FPGA。
不容易使用
無論采用何種形式的ISP，想要運(yùn)用自如并非容易的事。要完成一張「完全的圖」，需要開發(fā)能將各種參數(shù)設(shè)定在最適值上的固件。這需要具備相當(dāng)多的軟件、相機(jī)（光學(xué)）、圖像處理等相關(guān)知識，并非簡單可以完成的。
如大型的智能手機(jī)生產(chǎn)商因?yàn)樾枰罅抠徺I整合了ISP的面向移動(dòng)終端用芯片組，就能得到芯片組供應(yīng)商很好的協(xié)助和支持。也因此，開發(fā)固件對他們來說并非難事。
但對中小型智能手機(jī)生產(chǎn)商、產(chǎn)業(yè)機(jī)械用機(jī)器視覺設(shè)備廠商、監(jiān)控?cái)z像頭廠商等來說，固件的開發(fā)就有不小的難度。其購買的芯片組和ISP芯片數(shù)量較少，因此也很難得到供應(yīng)商很好的支持與協(xié)助。
當(dāng)然，這些廠商可以委托提供芯片組或ISP芯片的半導(dǎo)體廠商來進(jìn)行固件的開發(fā)。但這樣他們自然需要負(fù)擔(dān)開發(fā)費(fèi)用。這筆費(fèi)用并不小?！溉绻曩徹洈?shù)量能超過100萬個(gè)的application，開發(fā)費(fèi)用即可作為成本吸收；但如果只有每年10萬個(gè)左右的話，開發(fā)費(fèi)用必然會(huì)成為沉重的負(fù)擔(dān)」（THine Electronics）。
即便采用FPGA也很難改善。因?yàn)樾枰孕虚_發(fā)固件這一點(diǎn)還是不變的。而且無法指望ISP核供應(yīng)商的支持。使用FPGA的話，可以按自身必須的處理內(nèi)容自行設(shè)計(jì)回路，來組裝硬件。但這樣就需要非常高的硬件相關(guān)的技術(shù)能力。一般電子設(shè)備廠商的硬件工程師要少于軟件工廠是，所以并非解決問題的良策。
如大型的智能手機(jī)生產(chǎn)商因?yàn)樾枰罅抠徺I整合了ISP的面向移動(dòng)終端用芯片組，就能得到芯片組供應(yīng)商很好的協(xié)助和支持。也因此，開發(fā)固件對他們來說并非難事。
但對中小型智能手機(jī)生產(chǎn)商、產(chǎn)業(yè)機(jī)械用機(jī)器視覺設(shè)備廠商、監(jiān)控?cái)z像頭廠商等來說，固件的開發(fā)就有不小的難度。其購買的芯片組和ISP芯片數(shù)量較少，因此也很難得到供應(yīng)商很好的支持與協(xié)助。
當(dāng)然，這些廠商可以委托提供芯片組或ISP芯片的半導(dǎo)體廠商來進(jìn)行固件的開發(fā)。但這樣他們自然需要負(fù)擔(dān)開發(fā)費(fèi)用。這筆費(fèi)用并不小?！溉绻曩徹洈?shù)量能超過100萬個(gè)的application，開發(fā)費(fèi)用即可作為成本吸收；但如果只有每年10萬個(gè)左右的話，開發(fā)費(fèi)用必然會(huì)成為沉重的負(fù)擔(dān)」（THine Electronics）。
即便采用FPGA也很難改善。因?yàn)樾枰孕虚_發(fā)固件這一點(diǎn)還是不變的。而且無法指望ISP核供應(yīng)商的支持。使用FPGA的話，可以按自身必須的處理內(nèi)容自行設(shè)計(jì)回路，來組裝硬件。但這樣就需要非常高的硬件相關(guān)的技術(shù)能力。一般電子設(shè)備廠商的硬件工程師要少于軟件工廠是，所以并非解決問題的良策。
自動(dòng)生成固件
為了解決這些問題，ISP芯片生產(chǎn)商的THine Electronics開始為其ISP芯片「THP7312」提供CDK（相機(jī)開發(fā)工具）。
CDK主要是由硬件與固件開發(fā)用GUI工具「Thine Tuning Tool」、固件樣板這3部分組成。硬件里主要有裝載THP7312的ISP板、影像擷取卡和內(nèi)置圖像傳感器的相機(jī)模組前板（圖2）。
GUI工具是在電腦上操作的應(yīng)用程序?？梢酝ㄟ^在電腦頁面上根據(jù)menu輸入數(shù)值；或從下拉菜單中選擇參數(shù)，將樣板自動(dòng)改寫來開發(fā)所需固件（圖3）。幾乎不需要固件開發(fā)的專業(yè)知識。因此可在降低開發(fā)成本的同時(shí)大幅度縮短開發(fā)周期。
雖然現(xiàn)在有多家半導(dǎo)體廠商提供ISP芯片，但卻很少有提供固件開發(fā)的GUI工具的。「即便有半導(dǎo)體廠商提供簡易工具，也與敝司提供的GUI工具在執(zhí)行效能上會(huì)有很大差距」（THine Electronics）。FPGA也基本如此?！笓?jù)我們所知，目前并沒有ISP核的供應(yīng)商在提供固件開發(fā)用GUI工具」（THine Electronics）。
因此，對中小型智能手機(jī)、產(chǎn)業(yè)機(jī)械用機(jī)器視覺設(shè)備、監(jiān)控?cái)z像頭、XR應(yīng)用設(shè)備等生廠商來說，ISP芯片「THP7312」與CDK的組合是目前最佳的選擇。這意味著不再需要依靠FPGA。還能實(shí)現(xiàn)減少電力消耗、印刷電路板實(shí)裝面積小型化等價(jià)值。因?yàn)橐b載ISP核，原先需要比較高端的FPGA。這對需要大幅縮小尺寸的XR應(yīng)用設(shè)備來說無疑是個(gè)好消息。
下一章我們將就CDK所含的GUI工具的技術(shù)細(xì)節(jié)和使用方法進(jìn)行詳細(xì)介紹。
（未完待續(xù)）
CDK主要是由硬件與固件開發(fā)用GUI工具「Thine Tuning Tool」、固件樣板這3部分組成。硬件里主要有裝載THP7312的ISP板、影像擷取卡和內(nèi)置圖像傳感器的相機(jī)模組前板（圖2）。
GUI工具是在電腦上操作的應(yīng)用程序?？梢酝ㄟ^在電腦頁面上根據(jù)menu輸入數(shù)值；或從下拉菜單中選擇參數(shù)，將樣板自動(dòng)改寫來開發(fā)所需固件（圖3）。幾乎不需要固件開發(fā)的專業(yè)知識。因此可在降低開發(fā)成本的同時(shí)大幅度縮短開發(fā)周期。
雖然現(xiàn)在有多家半導(dǎo)體廠商提供ISP芯片，但卻很少有提供固件開發(fā)的GUI工具的。「即便有半導(dǎo)體廠商提供簡易工具，也與敝司提供的GUI工具在執(zhí)行效能上會(huì)有很大差距」（THine Electronics）。FPGA也基本如此?！笓?jù)我們所知，目前并沒有ISP核的供應(yīng)商在提供固件開發(fā)用GUI工具」（THine Electronics）。
因此，對中小型智能手機(jī)、產(chǎn)業(yè)機(jī)械用機(jī)器視覺設(shè)備、監(jiān)控?cái)z像頭、XR應(yīng)用設(shè)備等生廠商來說，ISP芯片「THP7312」與CDK的組合是目前最佳的選擇。這意味著不再需要依靠FPGA。還能實(shí)現(xiàn)減少電力消耗、印刷電路板實(shí)裝面積小型化等價(jià)值。因?yàn)橐b載ISP核，原先需要比較高端的FPGA。這對需要大幅縮小尺寸的XR應(yīng)用設(shè)備來說無疑是個(gè)好消息。
下一章我們將就CDK所含的GUI工具的技術(shù)細(xì)節(jié)和使用方法進(jìn)行詳細(xì)介紹。
（未完待續(xù)）
※圖的補(bǔ)充說明
（圖1 經(jīng)ISP處理后的影像）
左邊為ISP處理前的影像；右邊為處理后的影像。將各像素里原為1色的RAW
數(shù)據(jù)處理為各像素里RGB3色，并進(jìn)行了降噪。亮度和焦點(diǎn)也由ISP控制。
（圖1 經(jīng)ISP處理后的影像）
左邊為ISP處理前的影像；右邊為處理后的影像。將各像素里原為1色的RAW
數(shù)據(jù)處理為各像素里RGB3色，并進(jìn)行了降噪。亮度和焦點(diǎn)也由ISP控制。
