Fabrício Carraro

Então vou dar um exemplo, a Manus AI. Na Manus AI você começa a usar, ela acaba começando, abrindo uma VM. Por isso que é caro. Aí você pega o pessoal, uma principal reclamação, pô, meu, eu só posso fazer três, quatro coisas lá dentro e já acabaram os meus créditos. Por quê? Quando você abre VM pra tudo, você vai pagar por segundo, né? Então tem uma série de decisões que são bem complexas assim, que fez com que a gente montasse a nossa própria estrutura e que agora, né, a gente fechou uma parceria excelente com a Tropic, então...

Tem uma série de dilemas na arquitetura por trás da tese. Sem sombra de dúvida, é a área que a gente mais, eu diria, tem a maior quantidade do IP da empresa mesmo, que é o que está chamando bastante atenção. A gente vende bastante para fora do Brasil, o produto tem uma adesão muito boa fora do Brasil, por conta, eu diria, dessa inteligência de roteamento. Então, eu diria que a nossa arquitetura, a arquitetura do nosso roteador é distribuída em três camadas.

A primeira camada, sem sombra de dúvidas, são os evolves. Então assim, nós não seguimos o que as empresas dizem dos seus benchmarks. Então quando o ChatPT fala que performou 82%, sei lá, 80% no MMLU Pro, ou que teve 78% no Gaia Benchmark, eu não uso essa informação.

eu pego o GPT e boto para fazer todas as perguntas de novo. Então são meio milhão de perguntas, no mínimo, que vai ter que responder para eu repassar a performance do modelo em todos os evals. Depois que eu tenho a performance do modelo em todos os evals, aí eu tenho uma análise, inclusive usando alguns evals nossos próprios, aí eu tenho uma análise do que aquele modelo de fato é bom. E aí uma curiosidade aqui, hoje em dia as coisas estão um pouco mais acuradas, tá?

Mas algum tempo atrás era piada o que era divulgado versus a performance que tinha. Era absurdamente diferente. Não vou falar quais modelos naturalmente. Mas assim... É insuspeito.

Teve gente falando assim, cara, 88% no negócio lá, sei lá, pegar um caso, né, Hillman e Wall, né, GDPQA. Quando a gente foi atestar, era 61%, era 58%, e era 61%, assim...

Sendo legal, sabe, que se pegar a média tava 58, uma coisa do tipo, sabe? Essas coisas aconteciam pra caramba. Outra coisa que acontecia, que a gente viu muito, era o pessoal botar um modelo pré-treinado para a prova. E aí quando você pegava o modelo geral que tava sendo utilizado, já era outra coisa.

Outra coisa que a gente viu, o pessoal bota o modelo para fazer a prova, mas não a prova. Esse foi o caso da Manus AI. A Manus AI divulga uma performance, mas na verdade está escrito em letras pequenininhas. Performance na amostra da prova, não é na prova.

E a amostra da prova, você tem o resultado. Então, tem uma série de detalhes que, primeiro de tudo, a gente precisa entender. Que modelo é bom para quê e por quê? Então, essa primeira camada. Dessa primeira camada, a gente consegue ter quase como a visão mesmo do produto. A nossa visão é o seguinte. Quando a gente foi fazer um ensaio estatístico sobre a capacidade do modelo gerar resultado profissional, a capacidade geral foi muito baixa. De todos os modelos, foi muito baixa.

foi nível de que a gente fez o teste para marketing, para vendas, para operações, isso aqui sem nenhum tipo de feedback de ser humano. Então, quando a gente deixava o modelo melhorar, a gente falava assim, refine-se, sem dar nenhuma dica. Tenta melhorar o que você... Tenta trazer a sua melhor versão analisando criticamente, mas a gente não dava uma dica. O modelo analisa, analisa, analisa e não sai no lugar. Então, o ponto interessante que a gente notou é que mesmo quando a gente aumenta a camada de prompts ou de reasoning,

trazendo mais perguntas para o modelo, mais prompt, ou seja, consumo mais de token, a melhora dele é tão pequena que fica dentro do desvio padrão da margem de erro. Ele não melhora em si. Agora, quando você faz o sanity check do modelo com outros modelos, como a base de treinamento são completamente distintas, ele consegue agir quase como um ser humano. Um pegando o ponto de vista que o outro modelo não tinha. E aí você consegue dar alguns saltos

notórios de performance. Na nossa visão, essa análise, primeira camada de avaliação, segunda camada de análise de dados entre os modelos, que modelos interagem melhor com o outro.

Isso é muito interessante. Tem modelo que, se você botar os dois modelos para conversar junto, eles alucinam de um jeito que parece conversa de bêbado. É bizarro. Sério, juro. Você não pode botar aqueles dois modelos para conversar, que eles viajam. Tem modelos que juntos performam maravilhosamente bem. E fica assim, cara, o melhor modelo para gerar vídeo no Kling é o modelo tal. O cara gera um prompt perfeito. Parece que foi treinado com o knowledge base do Kling. É uma coisa insana.

Segundo ponto aí para a gente é a camada da interação dos modelos. Terceiro ponto, o histórico da pessoa, cara. Isso é uma coisa que a gente percebeu que é lunática. A gente fez uma arquitetura absurda em termos de evolves. Quando chegou lá na ponta, muita avaliação do cliente estava boa, tal, tal, tal, tal, tal. A gente começou a pegar, pô, essa avaliação aqui não está legal, isso aqui não está legal. Tem uma parcela dos clientes que não estão gostando do resultado. Por quê?

Quando a gente for avaliar, acredite se quiser, a melhor performance, tecnicamente, não é o que o usuário acredita que é a melhor performance. A gente notou uma série de coisas. A gente notou que o usuário que está começando, ele julga o resultado pelo tamanho da resposta. Às vezes uma resposta é maravilhosa em dois parágrafos e ele fala, não, o outro me deu cinco páginas. Isso é uma resposta horrível.

mas ele julga pela quantidade. Então, a terceira camada é customização para o gosto. Cara, esse dilema para áudio, vídeo e imagem é surreal de complexo, porque você pode achar que uma imagem é linda e o usuário olhar e falar, nossa, horrível, é muito gosto. Então, a otimização para esse gosto pessoal é complexo. E uma última camada que é o economics, né?

Não adianta, você vai lá e bota o Opus, o cara faz um programa maravilhoso em um prompt e fala, ah, mas me custou 500 créditos, né? Eu falei, cara, tu fez um programa em 500 créditos, 500 créditos dá literalmente 50 centavos, né? Mas é caro, né? Eu falei, por que tu fez um programa com 50 centavos? Então, o economics fala alto também. Então são essas quatro camadas, tipicamente, sabe?

Cara, então, na verdade, isso tem dois pontos aí, né? Primeiro, como é o coração do IP da plataforma, não tem muita coisa que eu possa abrir. Mas eu posso te passar a resposta teórica do assunto, que ela é muito boa. Inclusive, tem isso numa aula que eu falo da universidade, tem a universidade da IA dentro da TES, que é o seguinte. Quem tenta dizer qual o melhor modelo para marketing, qual o melhor modelo para lá, normalmente está esquecendo de um fator fundamental na IA.

A prediction não é temática. A prediction é por prompt. E o prompt varia... Só para você ter uma ideia, eu boto o mesmo prompt duas vezes, se eu tenho um seed diferente, naturalmente, eu tenho uma amostra inicial para prediction diferente, a resposta pode variar absurdamente. Quem faz EVOL percebe. Você pega assim, eu vou botar um modelo para fazer uma prova. O modelo faz a mesma prova. Uma hora ele performa 60%, outra hora ele performa 78%.

O mesmo modelo, por conta da seed. Então assim, normalmente quando a galera fala que o... Ah, esse modelo é melhor pra marketing, esse modelo... Cara, é furada. Te garanto que é furada. Por que que é furada? Primeiro, ah é? E qual é a variação de performance em tempo verbal? Tempo verbal impacta pra caramba. Dependendo da forma como você fala, expressa, um modelo pode performar absurdamente melhor do que o outro. Na mesma área de conhecimento.