HADAR traz profundidade e textura para imagens de calor “fantasmagóricas”

Para que os veículos autónomos e os robôs sejam seguros e eficientes, eles precisam de perceber o que os rodeia. Eles também precisam ser capazes de prever o comportamento das coisas ao seu redor – sejam outros robôs, veículos ou até mesmo pessoas – e planejar seus caminhos e tomar decisões de acordo. Em outras palavras, eles precisam de visão mecânica.

Tradicionalmente, a visão mecânica é realizada com uma combinação de câmeras e sensores, incluindo radar, sonar e lidar. Mas a visão mecânica também depende frequentemente do calor. “A radiação de calor vem de todos os objetos com temperaturas diferentes de zero”, diz Zubin Jacob, professor de engenharia elétrica e de computação na Universidade Purdue. “Folhas, árvores, plantas, edifícios – todos emitem radiação térmica, mas como se trata de radiação infravermelha invisível, os nossos olhos e as câmaras convencionais não a conseguem ver.” Mas como as ondas térmicas se dispersam constantemente, as imagens geradas pelas câmeras infravermelhas carecem de especificidade de material, resultando em imagens nebulosas, “fantasmas”, sem profundidade ou textura.

Como alternativa às imagens “fantasma”, Jacob e seus colegas das universidades de Purdue e Michigan State desenvolveram uma técnica de detecção e alcance assistida por calor (HADAR) que resolve sinais de calor desordenados para “ver” textura e profundidade. Em um experimento de prova de conceito, eles demonstraram que o alcance do HADAR durante a noite é tão bom quanto a estereovisão RGB durante o dia. O seu trabalho foi publicado em 26 de julho na Nature.

Os humanos veem uma rica variedade de cores, texturas e profundidade durante o dia ou em ambientes com luz adequada, mas mesmo em situações de penumbra ou escuridão, há muitos fótons térmicos refletindo. Embora os humanos não possam ver isso, “esta limitação não precisa se aplicar às máquinas”, diz Jacob, “mas precisávamos desenvolver novos sensores e novos algoritmos para aproveitar essa informação”.

Para o experimento, os pesquisadores escolheram um espaço ao ar livre em uma área pantanosa, longe de estradas e da iluminação urbana. Eles coletaram imagens térmicas no espectro infravermelho em quase 100 frequências diferentes. E assim como cada pixel nas imagens RGB é codificado por três frequências visíveis (R para vermelho, G para verde, B para azul), cada pixel no experimento foi rotulado com três atributos de física térmica, TeX – temperatura (T), impressão digital do material. ou emissividade (e) e textura ou geometria da superfície (X). “T e e são razoavelmente bem compreendidos, mas a visão crucial sobre a textura está, na verdade, em X”, diz Jacob. “X são, na verdade, os muitos pequenos sóis em sua cena que iluminam sua área específica de interesse.”

Os pesquisadores alimentaram todas as informações coletadas do TeX em um algoritmo de aprendizado de máquina para gerar imagens com profundidade e textura. Eles usaram o que chamam de decomposição TeX para desembaraçar a temperatura e a emissividade e recuperar a textura do sinal de calor. Os atributos T, e e X organizados foram então usados ​​para resolver cores em termos de matiz, saturação e brilho da mesma forma que os humanos veem as cores. “À noite, na escuridão total, nossa precisão era a mesma quando voltávamos durante o dia e fazíamos o alcance e a detecção com câmeras RGB”, diz Jacob.

A maior vantagem do HADAR é que ele é passivo, acrescenta Jacob. “O que significa que você não precisa iluminar a cena com laser, ondas sonoras ou ondas eletromagnéticas. Além disso, em abordagens ativas como lidar, sonar ou radar, se houver muitos agentes na cena, pode haver muita interferência entre eles.”

Como uma nova tecnologia, o HADAR está em um estágio bastante inicial, diz Jacob. Atualmente, a coleta de dados leva quase um minuto. Em comparação, um veículo autónomo que conduza à noite, por exemplo, precisaria de obter imagens do seu entorno em milissegundos. Além disso, as câmeras necessárias para a coleta de dados são volumosas, caras e consomem muita energia: “Ótimas para uma demonstração científica, mas não realmente para um tipo de adoção generalizada”, de acordo com Jacob. Os pesquisadores estão atualmente trabalhando nesses problemas e Jacob prevê que mais alguns anos de pesquisa serão direcionados para resolvê-los.