開發(fā)專欄
NEW
不僅是智能手機和數(shù)碼相機，裝載了相機功能的各種用途急劇增加。汽車、XR終端和產(chǎn)業(yè)機械、醫(yī)療設備、教育設備、無人機等裝載了相機功能的產(chǎn)品日益增加。但是正如第1和第2篇連載中指出的：要將相機功能植入各種用途中并不是件容易的事。需要兼具硬件和固件兩方面的知識。使用THine Electronics提供的相機開發(fā)工具「CDK」，能大幅度減輕在固件開發(fā)上的勞力。但是對初次挑戰(zhàn)植入相機功能的設計者來說，光是這一點并不足夠。于是THine著手開發(fā)了新的組合。在構建多方面支持相機功能植入作業(yè)的體制的同時，還能開發(fā)最適用于新用途的ISP（圖像信號傳感器）和CDK。
感應器?網(wǎng)絡的構成日益進化
大家知道「SWARM」這個詞么？這是一個技術用語，意指安裝著無數(shù)個感應器，每個感應器都通過無線來進行數(shù)據(jù)傳輸?shù)囊环N網(wǎng)絡。是因為此網(wǎng)絡中傳感器像蟲與鳥那樣一大群地存在而取名為SWARM（群）。為這一網(wǎng)絡命名的是美國加利福尼亞大學伯克利分校的Jan Rabaey教授。
SWARM與感應器網(wǎng)絡基本同義?，F(xiàn)在感應器網(wǎng)絡被稱為IoT（Internet of Things），已是世界上通用的技術用語。
感應器網(wǎng)絡的構建正在穩(wěn)步發(fā)展，SWARM也就是IoT也正在慢慢實現(xiàn)。另一方面，相機功能也不輸各種感應器，越來越多地被設置到各種場合。在監(jiān)控相機和智能手機、汽車、XR終端、產(chǎn)業(yè)機械、醫(yī)療設備、教育設備、無人機等設備上都理所當然地需要裝載相機功能。這些都是「相機的SWARM」和「相機的IoT」的一種現(xiàn)實體現(xiàn)。
SWARM與感應器網(wǎng)絡基本同義?，F(xiàn)在感應器網(wǎng)絡被稱為IoT（Internet of Things），已是世界上通用的技術用語。
感應器網(wǎng)絡的構建正在穩(wěn)步發(fā)展，SWARM也就是IoT也正在慢慢實現(xiàn)。另一方面，相機功能也不輸各種感應器，越來越多地被設置到各種場合。在監(jiān)控相機和智能手機、汽車、XR終端、產(chǎn)業(yè)機械、醫(yī)療設備、教育設備、無人機等設備上都理所當然地需要裝載相機功能。這些都是「相機的SWARM」和「相機的IoT」的一種現(xiàn)實體現(xiàn)。
相機活用的場合越來越廣泛
裝載了相機功能的各種用途急速增加。曾經(jīng)移動設備和汽車是其主要的「2大用戶」，但最近這一狀況確實發(fā)生了轉變。XR終端及產(chǎn)業(yè)機械、醫(yī)療設備、教育設備等上裝載的相機功能也一口氣爆發(fā)。
例如，產(chǎn)業(yè)用途上，VR(虛擬實景)／AR(擴張實景)／MR(復合實景)的維修作業(yè)等上也越來越活用到相機功能。在飛機的維修上用到AR時，用相機拍攝作業(yè)情況，同時在頭戴式顯示器上顯示其影像；根據(jù)需要還可將影像的部分顯示到操作指南中（圖1）。而活用MR就能將相機拍攝到的現(xiàn)實空間中的3D（3次元）物體，通過手等動作就能操作?？梢圆皇褂矛F(xiàn)實中的物體，在假想中練習例如安裝燈泡等維修工作。
例如，產(chǎn)業(yè)用途上，VR(虛擬實景)／AR(擴張實景)／MR(復合實景)的維修作業(yè)等上也越來越活用到相機功能。在飛機的維修上用到AR時，用相機拍攝作業(yè)情況，同時在頭戴式顯示器上顯示其影像；根據(jù)需要還可將影像的部分顯示到操作指南中（圖1）。而活用MR就能將相機拍攝到的現(xiàn)實空間中的3D（3次元）物體，通過手等動作就能操作?？梢圆皇褂矛F(xiàn)實中的物體，在假想中練習例如安裝燈泡等維修工作。
圖1 AR（擴張實景）的示例
相機逐漸成為零部件
相機現(xiàn)在被裝載于各種各樣的用途上。這種趨勢可以說意味著「相機正在零部件化」。零部件化繼續(xù)發(fā)展下去，就會有更多廠家裝載相機功能。
但是植入相機功能并不簡單。如連載的第1篇第2篇所指出，要植入相機功能，要熟練使用ISP（圖像信號傳感器），需要在硬件和固件兩方面都有比較高的知識（圖2）。通常，在硬件上比較強的企業(yè)會苦于植入固件的開發(fā)；在植入固件開發(fā)上比較強的企業(yè)則會苦于硬件的開發(fā)。
而且，相機零部件化后被各種廠商采用，其中也會有一些與至今的電子工學完全無關的領域的廠商。例如，制造頭盔的廠家會開發(fā)裝載了VR/AR/MR功能的產(chǎn)品；車載后視鏡的生產(chǎn)廠家會將鏡子置換成相機等。
這些廠家在硬件和固件方面的知識自然不會太高。因此植入相機功能的作業(yè)就會變得很難。甚至有可能開發(fā)會以失敗告終。這一事態(tài)是必須避免的。
但是植入相機功能并不簡單。如連載的第1篇第2篇所指出，要植入相機功能，要熟練使用ISP（圖像信號傳感器），需要在硬件和固件兩方面都有比較高的知識（圖2）。通常，在硬件上比較強的企業(yè)會苦于植入固件的開發(fā)；在植入固件開發(fā)上比較強的企業(yè)則會苦于硬件的開發(fā)。
圖2 ISP（圖像信號傳感器）「THP7312」
而且，相機零部件化后被各種廠商采用，其中也會有一些與至今的電子工學完全無關的領域的廠商。例如，制造頭盔的廠家會開發(fā)裝載了VR/AR/MR功能的產(chǎn)品；車載后視鏡的生產(chǎn)廠家會將鏡子置換成相機等。
這些廠家在硬件和固件方面的知識自然不會太高。因此植入相機功能的作業(yè)就會變得很難。甚至有可能開發(fā)會以失敗告終。這一事態(tài)是必須避免的。
面向價值連鎖的構建
因此THine Electronics正在抓緊構建能支持相機功能植入開發(fā)的體制?；旧峡紤]會根據(jù)需要支持的各廠家的情況提供多方面的技術支持。這一支持體系大致分為3點。
第1就是連載的前兩回介紹過的提供相機開發(fā)工具「CDK」。CDK是由軟件開發(fā)工具（SDK）與評價板（EVB）和GUI工具（3T：THine Tuning Tool）構成的（圖3）。
使用它的話，能僅靠GUI工具來進行參數(shù)設定后就能自動生成固件（圖4）。也就是說無需編程或編碼就能開發(fā)固件；就能大幅降低固件開發(fā)的門檻。
但是要熟練使用CDK仍需要相機和圖像處理方面的知識。且即便使用了CDK，仍有可能需要編程作業(yè)。具體來說，根據(jù)使用的圖像傳感器不同寄存器的設定也會不同，可能需要開發(fā)適用的驅動軟件。如果不能從外部購買到合適的驅動軟件，則只能自行開發(fā)。
對相機和圖像處理方面的知識沒有自信；或者缺乏編程的經(jīng)驗，針對這樣的用戶我們準備了第2種支持體制：Web會診。THine Electronics已經(jīng)完成了面向硬件開發(fā)和軟件開發(fā)兩方面的數(shù)據(jù)庫構建。利用它就可以在開發(fā)初期階段推測用戶在開發(fā)作業(yè)上容易陷入困境的時節(jié)點，針對其提供恰當?shù)募夹g支持信息。大部分情況下僅通過一次短時間的Web會診就能解決問題。
但有時也會出現(xiàn)通過Web會診也無法解決問題的情況出現(xiàn)。這時就需要用到第3種支持體制了：即向客戶介紹專為相機機能植入服務的系統(tǒng)積分電路。
THine Electronics因為向客戶提供ISP和CDK，與各行各業(yè)的用戶都有所接觸。其中就包括系統(tǒng)積分電路。此外，面向圖像傳感器的驅動軟件方面，THine Electronics也有經(jīng)許可的程序庫；有時客戶也會許可我們使用過去曾開發(fā)的驅動軟件。THine Electronics還可以為苦惱于相機功能植入的客戶引見這些系統(tǒng)積分電路和驅動軟件廠商。
事實上THine Electronics的相機技術團隊的產(chǎn)品經(jīng)理桑山克己在該公司舉辦的研討會后的聯(lián)誼會上對各用戶和供貨商已經(jīng)拋出過橄欖枝：“如果能通過CDK構建出日本最初的相機開發(fā)共同體不是會很有意義么？”。今后我們也將盡全力為相機機能植入相關的「價值連鎖的建立」而努力。
第1就是連載的前兩回介紹過的提供相機開發(fā)工具「CDK」。CDK是由軟件開發(fā)工具（SDK）與評價板（EVB）和GUI工具（3T：THine Tuning Tool）構成的（圖3）。
圖3 相機開發(fā)工具（CDK）里包含的評價板（EVB）
使用它的話，能僅靠GUI工具來進行參數(shù)設定后就能自動生成固件（圖4）。也就是說無需編程或編碼就能開發(fā)固件；就能大幅降低固件開發(fā)的門檻。
僅需在電腦上輸入GUI工具「3T」必須的參數(shù)就能描述固件。
圖4 使用「3T（THine Tuning Tool）」時的示例
但是要熟練使用CDK仍需要相機和圖像處理方面的知識。且即便使用了CDK，仍有可能需要編程作業(yè)。具體來說，根據(jù)使用的圖像傳感器不同寄存器的設定也會不同，可能需要開發(fā)適用的驅動軟件。如果不能從外部購買到合適的驅動軟件，則只能自行開發(fā)。
對相機和圖像處理方面的知識沒有自信；或者缺乏編程的經(jīng)驗，針對這樣的用戶我們準備了第2種支持體制：Web會診。THine Electronics已經(jīng)完成了面向硬件開發(fā)和軟件開發(fā)兩方面的數(shù)據(jù)庫構建。利用它就可以在開發(fā)初期階段推測用戶在開發(fā)作業(yè)上容易陷入困境的時節(jié)點，針對其提供恰當?shù)募夹g支持信息。大部分情況下僅通過一次短時間的Web會診就能解決問題。
但有時也會出現(xiàn)通過Web會診也無法解決問題的情況出現(xiàn)。這時就需要用到第3種支持體制了：即向客戶介紹專為相機機能植入服務的系統(tǒng)積分電路。
THine Electronics因為向客戶提供ISP和CDK，與各行各業(yè)的用戶都有所接觸。其中就包括系統(tǒng)積分電路。此外，面向圖像傳感器的驅動軟件方面，THine Electronics也有經(jīng)許可的程序庫；有時客戶也會許可我們使用過去曾開發(fā)的驅動軟件。THine Electronics還可以為苦惱于相機功能植入的客戶引見這些系統(tǒng)積分電路和驅動軟件廠商。
事實上THine Electronics的相機技術團隊的產(chǎn)品經(jīng)理桑山克己在該公司舉辦的研討會后的聯(lián)誼會上對各用戶和供貨商已經(jīng)拋出過橄欖枝：“如果能通過CDK構建出日本最初的相機開發(fā)共同體不是會很有意義么？”。今后我們也將盡全力為相機機能植入相關的「價值連鎖的建立」而努力。
集中聆聽客戶的需求向次時代產(chǎn)品開發(fā)邁進
如前所述，THine Electronics通過提供ISP和CDK，與需要用到相機功能的各家客戶都有關系網(wǎng)。因此能更早地聽到不同用戶的“呼聲”。
對相機功能的要求根據(jù)用途不同是完全不同的。單反相機上最重要的就是要拍攝出美感。但醫(yī)療用途上比起拍攝出美感，確實準確地發(fā)現(xiàn)疾病才是最重要的。必須將正常部分與病理部分的差異拍攝地清楚明了。而XR終端與產(chǎn)業(yè)用途上也會根據(jù)不同的需求而有其最需要側重的事項。且這種最側重事項還是在日益變化和進步的。
也就是說相機功能植入的作業(yè)正在從一直以來的移動設備和汽車這2軸，向現(xiàn)在的醫(yī)療用途和產(chǎn)業(yè)用途、XR終端等N軸進行。因此根據(jù)這些變化，ISP和CDK也需要時刻調整到最合適的狀態(tài)。
THine Electronics已經(jīng)聽取了各類用戶的呼聲，開始著手于開發(fā)次時代的ISP和CDK。目前在CDK上，正在面向醫(yī)療?數(shù)碼健康和XR終端等用途開發(fā)新的功能。其中一部分功能已經(jīng)在最早批的客戶方進行實驗。
另一方面關于ISP我們也著手于探討次時代產(chǎn)品。這一次時代產(chǎn)品將在現(xiàn)有產(chǎn)品的4K（3840×2160像素）的基礎上，以更高的幀數(shù)來對應8K（7680× 4320像素）等高分辨率要求之外，進一步根據(jù)新用途來考慮裝載一些新的功能。例如擴張動態(tài)范圍的功能和自動對焦（AF）與自動曝光（AE）、自動白平衡（AWB）這「3A」的功能、性能的增強。
此外，如果能用專用硬件實現(xiàn)這些新功能，就能在控制ISP的芯片尺寸和消耗電力的同時，使后半段的邊緣計算的CNN與云計算的GPU上的軟件處理變得更容易；且能提高其性能?，F(xiàn)在，我們正在與負責硬件和軟件方面的合作企業(yè)進行探討。目前ISP的具體產(chǎn)品化時間尚未確定，最早將在2020年內(nèi)實現(xiàn)。
對相機功能的要求根據(jù)用途不同是完全不同的。單反相機上最重要的就是要拍攝出美感。但醫(yī)療用途上比起拍攝出美感，確實準確地發(fā)現(xiàn)疾病才是最重要的。必須將正常部分與病理部分的差異拍攝地清楚明了。而XR終端與產(chǎn)業(yè)用途上也會根據(jù)不同的需求而有其最需要側重的事項。且這種最側重事項還是在日益變化和進步的。
也就是說相機功能植入的作業(yè)正在從一直以來的移動設備和汽車這2軸，向現(xiàn)在的醫(yī)療用途和產(chǎn)業(yè)用途、XR終端等N軸進行。因此根據(jù)這些變化，ISP和CDK也需要時刻調整到最合適的狀態(tài)。
THine Electronics已經(jīng)聽取了各類用戶的呼聲，開始著手于開發(fā)次時代的ISP和CDK。目前在CDK上，正在面向醫(yī)療?數(shù)碼健康和XR終端等用途開發(fā)新的功能。其中一部分功能已經(jīng)在最早批的客戶方進行實驗。
另一方面關于ISP我們也著手于探討次時代產(chǎn)品。這一次時代產(chǎn)品將在現(xiàn)有產(chǎn)品的4K（3840×2160像素）的基礎上，以更高的幀數(shù)來對應8K（7680× 4320像素）等高分辨率要求之外，進一步根據(jù)新用途來考慮裝載一些新的功能。例如擴張動態(tài)范圍的功能和自動對焦（AF）與自動曝光（AE）、自動白平衡（AWB）這「3A」的功能、性能的增強。
此外，如果能用專用硬件實現(xiàn)這些新功能，就能在控制ISP的芯片尺寸和消耗電力的同時，使后半段的邊緣計算的CNN與云計算的GPU上的軟件處理變得更容易；且能提高其性能?，F(xiàn)在，我們正在與負責硬件和軟件方面的合作企業(yè)進行探討。目前ISP的具體產(chǎn)品化時間尚未確定，最早將在2020年內(nèi)實現(xiàn)。
