Marcela Carvalho

Que também é desenvolvida lá na gente. E o que ele faz. É que ao invés de você selecionar ponto por ponto. Mesmo que seja por um... Vamos imaginar aquela escovinha do Paint. Ao invés de selecionar ponto por ponto. O que ele faz. Ele já coloca para o anotador. Uma série de clusters em 3D. Porque primeiro a gente já passou aquela nuvem de pontos. Por um...

um pré-processamento para produzir clusters que tenham um significado geométrico, e isso aí vai evitar que quando a gente seleciona alguns pontos que estão visíveis para a gente em 2D, a gente esteja selecionando aqueles lá atrás, que a gente vai então selecionar de pouco em pouco. E essa anotação é feita na casa, por ser uma especialidade difícil de...

melhorar e também por segurança de dados. Todos os dados que a gente tem são de plantas industriais e essas plantas industriais o nosso cliente não se sentiria à vontade, não seria correto a nossa parte compartilhar com uma empresa de alta ação por mais que tenha um contrato de privacidade.

Não, o software da gente, assim, é útil. Sim, extremamente útil. Inclusive, faz parte do meu trabalho atual. Para explicar, o nosso software hoje é um software desenvolvido em C++. O principal desenvolvedor do código é um cara, assim, absurdo. É o Yoda.

É um cara muito bom. Mas a parte de Machine Learning, ela é separada. A parte de Machine Learning, a gente integra nesse software. Tem uma parte de geometria que é integrada, mas a parte de Machine Learning é separada. E aí, quando você pergunta para mim sobre o SEM, o SEM, ele é um código que trabalha com imagens, né?

2D, e essa é a parte que eu estou trabalhando justamente, então o que eu desenvolvi até hoje na empresa, foi a parte de fazer a renderização em 2D de vários pontos de vista dentro da nuvem de pontos ou seja, traduzir

tirar muitas fotos dentro do ambiente, depois passar essas fotos por um modelo, como se fosse o Samtree, que é o que eu estou fazendo abertamente, com um label específico, por exemplo, agora a gente está atrás de saídas, então todas as placas de saída, coloco todas as minhas imagens ali, placas de saída, e depois, como eu tenho a transformação inversa, faço a transformação inversa,

salvo isso com uma nuvem de pontos, e aí essa nuvem de pontos, ela é colocada no nosso software, que é um software de rendering, de visualização. Então, sim, a gente usa Sentry, cheguei a usar o Dynov3, que a gente chegou a discutir também, eu e você, que é para conseguir features, para conseguir informações da imagem, também usei para tentar melhorar o modelo 3D. E essa é a minha função, é melhorar o modelo 3D com imagens, que até hoje não estava sendo usado na minha empresa.

Isso. E o legal dele é que ele traz a ideia daquele open vocabulary, o vocabulário aberto. A ideia é que você colocaria qualquer palavra e ele não é fechado àquelas palavras que você coloca. Ele vai tentar encontrar semanticamente a palavra mais perto da que você pediu para tentar achar na imagem o que se parece mais com aquilo. Aí a gente entra nesse mundo de modelos de visão e linguagem.

Que eu tenho perguntas também pra fazer. Mas é curioso que teve muita coisa que você falou que parece super distante da realidade de todo mundo, assim, né? Os termos, as técnicas, mas nada disso é, né? Você falou do LiDAR, por exemplo, atrás de todo iPhone, Android deve ter vários também que tem, né? Mas tem aquela bolinha preta que é isso, ele dispara o laser, o laser volta e ele vê com a distância o tempo que demorou e ele mede, né? E uma coisa que eu nunca tinha considerado, que agora soa bastante óbvio, é que a câmera tem que compensar porque o laser não sai da câmera, sai do lado da câmera.

Certo? Exatamente. Então, ele mede e você compensa isso por motivos da câmera. Isso é muito interessante. Isso. E uma outra coisa que você comentou também, né? Vocês trabalham com... Você falou de 9 pontos. É aquele Gaussian Splat? Olha, ótima pergunta. Gaussian Splat, sim. A gente tá com... Sim, sim, sim, sim. Ó, tá. Eu vou parar aqui pra bater palmas pro Gaussian Splat do Marcos. Muito bom, Marcos. Atualizadíssimo. Muito bom. Tá vendo? Porque isso... E aí, outra coisa que as pessoas também certamente já viram

que é uma representação... Os pixels são tridimensionais, certo? Para dar a sensação de tridimensionalidade de um ambiente. Mas se você virar um pouquinho de lado assim, distorce tudo. Os pixels só encaixam se estiver na posição certinha. Então, imagino que as pessoas tenham visto isso já também. Então, tem várias coisinhas aqui que a gente está falando. Estou tentando só tangibilizar um pouquinho para o pessoal sacar que, sim, faz parte do dia a dia. É uma coisa que é menos distante do que a gente imagina, mas não quis te interromper. Fala dos Gaussian Splats, então.

Não, é muito legal, super legal você trazer isso no podcast. O que a gente mais conhece da representação de nuvem de pontos é, assim, é muito feio ver os pontos, né? Os pontos são meio esparsos, não é tudo grudadinho, não é que nem numa imagem que fica tudo uma do lado da outra. Quando você vê uma nuvem de pontos, ela é esparsa, significa que ela está um pouquinho longe, então você acaba vendo pixels estando lá de trás.

A técnica padrão para você esconder isso, para você só ver o que está visível, deveria estar visível no mundo real, é usar meshes, né? Aquelas triangulações, que eu acho que quem joga videogame antigo vê muito, assim, os triangulozinhos, assim, né? São os meshes.

E hoje, assim, recentemente, uma técnica muito bacana que apareceu foram os Ocean Splitting, que é uma forma de você representar a cena, é como se fosse um modelo inverso, em vez de você ver aqueles pixels de uma forma estruturada, você vê como a luz interage, como se fosse a interação da luz com a luz.

com a câmera, como se a luz viesse daquele ponto, é uma visão inversa. Quando a gente vê os meshes, é uma coisa muito estática, então a gente vai virar um objeto, acho que é nisso que o Marcos estava falando mais, quando a gente gira um objeto, a gente vai ver aquilo ali como se a gente estivesse girando, mas sem informação, por exemplo, de como a luz interage com aquele objeto. Os Gaussian Splatting, você está vendo como se fosse uma nuvem de probabilidades, e

quando você gira aquilo, você leva em conta como a luz encosta naquele objeto quando você gira. A gente hoje, na nossa empresa, é muito bonito o resultado, acho bem legal ver, acho que é mais legal ver, se alguém procurar um videozinho pra ver Goshen Splatting, acho que vale muito a pena. Vou deixar aqui na descrição.

E a gente hoje ainda não está usando isso no nosso software, para os nossos clientes, mas é uma demanda altíssima e um dos nossos colegas e eu estamos trabalhando com isso. Mais meu colega do que eu. É um cara muito bom, inclusive. Não, mas ele está fazendo vários testes para melhorar a ideia, para gerar esses Gaussian Splashing, porque assim, a gente tem, a gente pode gerar os meshes com um certo modelo, já...

A gente tem todos os pontos, a gente faz uma triangulação e preenche a cor ali, aquele triangulozinho. Os Gaussian Splitting, eles são um modelo que você meio que treina ele. Então, o que ele vai fazer? Ele começa com um número X de pontos e cada ponto desse tem uma posição, uma opacidade, uma cor e uma covariança, uma forma.

Você vai imaginar um pontinho com um circulozinho que pode se achatar ou ficar mais longo e uma transparência para cada ponto. E aí a sobreposição de cada um desses pontos que podem estar do lado, esse circulozinho transparente, ele pode interagir com o de trás, ele vai formar uma imagem. Isso dá esse efeito de quando você gira o objeto na cena, ele brinca com a luz da imagem. E aí dá esse efeito muito mais...