Fabrício Carraro

E aí, Marcos? E aí, pessoal de casa? Mais uma entrevista aqui, voltando com uma pessoa que talvez alguns de vocês já conheçam, porque ela já foi entrevistada lá no Deve Sem Fronteiras, barra Carreiras Sem Fronteiras, né? Acho que ainda era Deve naquela época, agora voltou a ser Carreiras Sem Fronteiras. Mas falamos lá e vamos falar ainda mais hoje sobre visão computacional, né, Marcos?

Maravilha, e para o pessoal que fica na dúvida, a gente teve alguns episódios já sobre visão computacional aqui no programa, inclusive com o Diogo, que trabalha lá na meta, fazendo ali a parte dos óculos e tudo mais, mas enfim, pesquisa em visão computacional, e agora também, falamos com você no Deve Sem Fronteiras, Barra Carreira Sem Fronteiras, agora voltando...

Mas para o pessoal que ouve visão computacional, é o olho do computador, eu vou ver o drone, vai olhar de cima se tem ali uma árvore ou se tem uma pessoa, ou o carro, o autônomo vai saber se vai atropelar a pessoa ou não. Isso eu acho que a galera entende, essa visão bem alto nível.

Baixando um pouquinho o nível aqui, para a galera que talvez se interesse pela parte técnica também, com o que você está trabalhando literalmente no seu dia a dia? O que chega para você? Esses dados de sensores, é literalmente câmeras? Você pega ali o vídeo, um MP4 chega para você? Você converte o MP4 em tabelas de pixels? Dá uma geral para a gente do que você faz exatamente na parte técnica. Perfeito.

E uma última pergunta agora nesse sentido, porque acho que tem a ver, vocês falaram que vocês têm esse software aí dentro de casa mesmo, e eu lembro que a gente estava comentando, não sei se a gente falou lá no Deve Sem Fronteiras, ou se foi no privado aqui, sobre os lançamentos que a Meta faz volta e meia, o SAM, SAM2, SAM3 e tudo mais, isso acaba sendo útil para vocês, ou o software de vocês acaba sendo muito melhor por ser mais especializado?

Legal. Para quem ficou um pouco perdido, talvez, com as siglas, o SAM, SAM2, SAM3, são esses modelos lá da Meta, lançados open source, para fazer segmentação de imagens, inclusive de vídeos, né? Na versão mais nova tem de vídeos também. Então, ele fala, tipo, segmenta alguma coisa ali, aí você pode falar, ah, isso daqui é uma pessoa, isso daqui é um cachorro, etc., né?

As cores têm uma informação que dá esse lado visual forte. E quando você vai criar ali os seus modelos, enfim, seja lá o que você for fazer naquele momento, hoje em dia, o que você tem usando de ferramental, de stack? É PyTorch mesmo?

Legal. E quando um modelo está pronto, que você vai jogar ele em prod, ou um modelo que já está rodando hoje em produção, o que você acha que, pelo menos na análise, quando você está ali fazendo que esse modelo potencialmente pode ir para a produção, o que é o principal desafio? O que é o problema que você tem que resolver? O principal é ruído?

alinhamento dos containers, é uma classe que é muito rara. E também tem a questão de qual é o erro que é aceitável e o erro que não pode ser aceitável de maneira nenhuma. Acho que você falou um pouquinho de cada coisa. Acho que o maior desafio é essa parte de classes que são sub-representadas e aí são difíceis de aprender.

Que ele vai reforçando assim, sabe? É você que financia isso daí. Mas é legal assim, até útil é útil. Marcela, você contando de tudo que você vem fazendo na empresa nova, na Simp, o que me parece, me corrija se eu estiver errado, é que isso é uma coisa meio que intermediária, no sentido que você pega ali o que vai ter nesse galpão, por exemplo...

o que exatamente vai ter, então, container, válvula, seja lá o que for, para otimizar espaços, talvez, a empresa que for usar o serviço final, e quem sabe até colocar robôs que vão lidar automaticamente com isso. É mais ou menos essa pegada ou foi para o caminho errado?

Uma que você me fez pensar aqui, com tudo isso que você está desenvolvendo aí, os seus modelos, me parecem, pelo que a gente está falando, ser coisas gigantescas. Tem como vocês rodarem isso local? Vocês têm clusters para isso? Ou é tudo na nuvem mesmo?

Bem legal, bem interessante mesmo.

E uma coisa que o nosso amigo, na verdade o seu amigo, que você foi nossa representante internacional aí na França, né? Fui lá ver a palestra do Ian LeCun e tudo mais, já teve outras ocasiões, inclusive, de estar no mesmo lugar que ele. Ele fala muito sobre a questão dos world models, né? Os modelos de mundo, que talvez o representante mais popular hoje em dia seja o GEPA, né? Um dos papers que ele publicou

lá pela meta, enfim, com o pessoal tentando chegar nesse caminho. Como você está vendo essa questão hoje em dia da evolução? Porque me parece ser talvez o próximo passo, o passo atual barra próximo passo da pesquisa em, não sei se entra em visão computacional apenas, mas em IA como um todo, de modelos generalistas que conseguem ter uma noção maior do mundo.

Você chegou a mergulhar na questão do JEPA e como você está vendo esse ecossistema de world models para ser usado na prática mesmo com situações úteis do dia a dia? Lembrando que existe o VJEPA, que é específico de vídeo, né? Também, exato.

Eu deixo aqui, além da dica do curso do Carpati, que é maravilhoso realmente, tem também o do pessoal lá da Hugging Face, que é o The Small, Small não de pequeno, de S-M-O-L, mas é um joguinho de palavras aí, Training Playbook, que é basicamente o segredo de criar um LLMs de alta classe.

E aí você consegue seguir, literalmente também, passo a passo, o que eles fizeram para criar os modelos LLM Small deles, que é o nome da classe de modelos, da família de modelos deles, SMOL. E você vai seguindo literalmente, passo a passo, você também vai criar o seu modelo excelente. E aproveitando essas dicas aqui, o momento de dicas, eu vou perguntar aqui para a Marcela a minha última pergunta é...

que é, a gente está falando aqui de voltar para a base, de fazer projetinhos, mas talvez quem está começando em visão computacional hoje não sabe nem qual é essa base e não sabe quais projetinhos eles têm que fazer. Então eu deixo o desafio aqui, Marcela, qual que é a trilha mínima ali, a base da pessoa que te escutou aqui e se interessou muito por essa área de visão computacional?

que ela vai ter que saber sim ou sim, ou seja, foco de onde ela vai ter que estudar e qual que é um projetinho bacana que ela deveria talvez tentar fazer no final desses X meses aí, um ano de estudo.