Toyota正在研究基於視覺的Pseudo-Lidar - 汽車

影片：
https://youtu.be/SLEK2vAgjOI

https://i.imgur.com/FyhcjVO.jpg
Toyota 研究院的一位資深研究科學家在去年10月份的Stanford Seminar 介紹
了他們的深度估算方法，該方法利用其深度學習從單顆鏡頭的未標記拍攝影片
中做到類似LiDAR 對於深度(距離)的測量。影片很長所以提供幾個重點：


1. https://i.imgur.com/EOJq2ih.jpg
Toyota 每年售出1000萬輛汽車，這可能可以提供很多影片數據(數十PB)，相較
起來YT 影片數據量就只是個小泡泡。


2. https://i.imgur.com/TTuloRZ.jpg
以往的機器學習方式是(人工)標記資訊後的監督式學習(Supervised learning)，
未來要擴展到加入自監督學習(Self-supervised Learning)。


3. https://i.imgur.com/3fUsRzM.jpg
為什麼不用LiDAR 而要用Cameras + pseudo-LiDAR？簡單來說LiDAR 太貴了，
而且Cameras 便宜且易於安裝，不需要改變目前的車輛設計。


4.
他們認為他們自己的結果適用於白天和理想的天氣條件，在雨中效果也很好。
，另外夜晚測試他們還未做過。

與其他人的比較：
https://i.imgur.com/dMlPQH0.jpg

真實視覺影像、他們的結果、與3D 點雲的比較：
https://i.imgur.com/vk1t7Yh.jpg

影片從約14:00 開始：
https://youtu.be/SLEK2vAgjOI?t=839


5. 為何可以用單目攝影機就做到偵測深度？利用frame t 與frame t-1

雙目攝影機的做法：
https://i.imgur.com/Sn6w8yV.jpg

單目攝影機的做法：
https://i.imgur.com/XsCmPdl.jpg


後面幾乎都是在解釋技術細節，有興趣的人麻煩自己看就不節錄了。他們的工
作已經在2019年5月寫成論文發表，而這段在研討會上的影片則是在10月份。他
們所做的事情幾乎可以說跟Tesla 在做的事情十分的類似，在去年4月的Tesla
Autonomy Day 上，Autopilot 部門主管就曾經展示過類似的影片：
https://i.imgur.com/fmtBWFV.jpg
https://youtu.be/Ucp0TTmvqOE?t=8480

另外在今年二月份時，他也在Annual Scaled Machine Learning Conference
上展示了更詳細的成果：
https://i.imgur.com/gqWQtD8.jpg
https://youtu.be/hx7BXih7zx8?t=1313


Self-supervised Learning 與泛稱為pseudo-LiDAR 的技術其實有許多人在做，
其中有學者、有新創公司、當然也有車廠在做，其中最為人知的應該就是Tesla。

但是從這份資料中可以知道Toyota 這種老車廠其實也有在研究，而且據他們的
說法得到的結果很好可行性很高，所以用一般的攝影機來取代LiDAR 並不是不
可能的事情，當然還是有人認為要做到真正的無人駕駛非LiDAR 不可，到底結
果如何這就留待時間去證明，再過幾年就會知道了。

--
宅男Elon Musk 18年年底與Tesla 員工聚會：
https://i.imgur.com/M3p884k.png

--