物理学：視覚チップとハイブリッドカメラによって自動運転車の視覚を強化する

画像処理を改善するための方法をそれぞれ紹介する2編の論文が、今週、Natureに掲載される。これらの方法は、自動運転車に使用できる可能性がある。

画像センサーは、自律機械などのさまざまな用途において非常に重要であり、（光景を正確に解釈するための）優れた全体的な視覚品質と、（素早い反応を可能にする）速い動きを検出する能力を兼ね備えている必要がある。しかし、所望の機能を両立させようとすると、効率性、あるいは画質と遅延の間のトレードオフの点で難問が生じる可能性がある。今回発表される2つの研究では、従来の限界を克服しつつ2つのニーズを共に満たすハイブリッドな方法が実証された。

Luping Shiらは、人間の視覚系の仕組みにヒントを得て、精度が低いが迅速に生じる感覚とそれよりもゆっくりと生じるが精度が高い知覚を組み合わせたセンシングチップを開発した。この視覚チップ（Tianmouc）は、精度が低いが高速事象に対応する検出能力（極めて詳細な情報がなくても迅速に変化に対応する能力）と、光景を正確に視覚化する低速処理を組み合わせたハイブリッドピクセルアレイを搭載している。Shiらは、このチップを自動車運転認識システムに使用した場合に迅速かつロバストに画像を処理する能力を発揮することを実証した。この視覚チップは、暗いトンネル内の走行、カメラの閃光によるかく乱への対応、自動車の前を横断する人の検出など、さまざまなシナリオを使って検証された。

一方、Daniel GehrigとDavide Scaramuzzaは別の論文で、視覚センシングに使用されるカメラが抱えている諸課題に取り組んだ。フルカラーカメラは、解像度が高いが、急激な変化を検出するためには大量のデータを処理する能力（大きな帯域幅）を必要とする。帯域幅を減ると、遅延が長くなり、そのために安全性が低下する可能性がある。これに対して、イベントカメラは、速い動きの検出に適しているが、精度が低い。GehrigとScaramuzzaは、ハイブリッドシステムを自動運転車に使用すると、ロバストで低遅延な物体検出が実現できることを示している。フルカラーカメラとイベントカメラを組み合わせることで、カラーカメラのフレームレートを削減することができ、その結果として帯域幅が減り、効率が向上しつつ、高い精度が保持され、それによって生じるカラーカメラの大きな遅延はイベントカメラによって補正されて、素早く動く物体（歩行者や車など）を確実に検出する能力が保持された。

以上の2つの方法によって、自動運転車やその他の用途での画像処理が、これまでよりも高速で効率的かつロバストなものになる可能性がある。

doi: 10.1038/s41586-024-07358-4

「注目の論文」一覧へ戻る