Fabrício Carraro

Segundo, gírias, presença de gírias. Terceiro, pontuação, histórico. Histórico, você está no meio da conversa, você está no início da conversa, uma coisa é um prompt que eu dou no primeiro item da conversa, outra coisa é um prompt que eu dou um pouco mais para frente. Presença ou não, por exemplo, de engenharia de prompt naquilo. Então, tem tanta coisa que impacta na resposta, só para dar uma ideia para vocês. Uma época a gente fez um experimento, a gente chamou de The Gaia Research.

Gaia para General AI Agents. Então, a gente fez um experimento que era o seguinte, a gente queria provar que a multimodalidade, inclusive leve, era melhor do que o modelo robusto. E a gente pegou modelos desatualizados, antigos mesmo, e leves, só que trabalhando junto.

e botamos para competir com os modelos mais robustos que tinha. Ah, lançou o Glock 4. Ah, qual é o preço do output do Glock 4? Ah, é 20 dólares, não me lembro, recordo de cabeça, mas é 20 dólares, 15 dólares por milhão. Qual é o custo dos três modelos rodando ao mesmo tempo? 3,78 dólares. Está bem mais barato.

A gente botou para fazer os evolves. Os três modelos juntos performaram bem melhor do que o GROK, do que o GPT da época, que era o lançamento do 5. Três modelos leves juntos conseguindo performar melhor. Então, tem uma série de coisas que impactam. Eu diria para você, diria para todos os ouvintes do podcast, a maior parte da galera...

Também o Avid é para procurar atalhos. Mas o atalho, ele esquece de uma coisa que é fundamental na IA. No final do dia, é prediction. E a prediction depende da seed. Se depende da seed, ela é, de certa forma, não controlada na sua matemática básica. Pode ser que o melhor modelo para marketing tenha uma performance horripilante, seja o pior modelo para marketing naquela geração. Isso pode acontecer, tranquilamente. Então, qual é a melhor forma que eu indico?

a otimização entre modelos. Então, por exemplo, você pode fazer na tese um agente, você bota para gerar uma resposta em um, você constrói um segundo para fazer refinamento, análise, bota um terceiro, eu estou falando para grandes tarefas, não precisa fazer isso no dia a dia, óbvio, mas você bota um terceiro para fazer uma análise, considerando os dois últimos e entregar o resultado final.

Ou seja, eu vejo muito mais qualidade no refinamento entre modelos do que tentar acertar o primeiro modelo, que tipicamente só pela seed não vai acontecer. Eu consigo criar um experimento para vocês para marketing, para qualquer assunto, e eu consigo mostrar para vocês que o modelo que a gente acha que é o favorito pode tranquilamente, numa rodada, num prompt, ficar em último na lista.

assim maravilhosamente melhor do que o outro, já te causa uma impressão muito boa daquilo, que às vezes você tá num, naquele momento você precisa gerar um resultado, né? Às vezes você vai lá no início do prompt, aquele mesmo modelo já performa de uma maneira que você olha e já acha meio esquisita na largada, tem uma série de coisas. Vou dar um exemplo de coisas que alteram pra caramba, né? Isso é uma coisa que a gente preservou na test. System prompt. Quando você entra na test, não tem system prompt.

Tipo, a gente não customiza nenhuma IA. Por quê? Porque na tese, por isso que a gente fala que não tem como vender IA sem crédito. Quando você compra IA sem crédito, você está fazendo o quê? É um jogo de arbitragem, onde quem está ali do outro lado para economizar dinheiro de output pode botar de respostas resumidas, pode comprimir contexto, pode ter context length menor. A pessoa pode fazer uma série de coisas para reduzir o custo da IA, para ela, como plataforma. Como aqui na tese a gente...

vamos falar, a base da plataforma é o mercado, eu tenho um take rate médio de 20% a cada uso de API. Simples assim. É o mesmo preço de API, em média, com 20% de take rate nosso. Então, para eu entregar o modelo do GPT, eu tenho que garantir que eu não tenho nenhum tipo de system prompt.

Eu não tenho nenhuma customização. Quando o cara bota o GPT na test, é exatamente o mesmo GPT na plataforma da OpenAI. Então, isso faz muita diferença, que dependendo da plataforma que você entra e vai utilizar, às vezes, só pelo fato da pessoa botar, você é um agente especializado, já mudou a performance.

Tipo, o MCP é o padrão, mas essa parte a gente ficar integrado entre plataformas e IaaS como uma ameaça ao negócio de vocês? Ou são coisas separadas, o público de vocês é mais específico? Como é que funciona olhando para frente? Eu não vejo como ameaça, não. Pelo contrário, eu acho que é até bem colaborativo com o nosso modelo de negócio. De uma maneira geral, se a gente analisar a construção mesmo de um negócio, muda completamente...

a plataforma pela persona e o core business que você define, aquilo que exatamente você vai fazer e vai ficar obstinado para ser o melhor do mundo para fazer aquilo. De uma maneira geral, no Brasil, infelizmente, a gente não é muito conhecido por isso. Eu consegui um resultado super bacana com Pareto, enfim, a empresa cresceu para caramba, tem um valuation super gordo, e, porra, em um certo momento,

Para mim, bateu assim, cara, eu sempre fui muito movido a parte técnica, produto, inovação, então, e trabalhar com serviço é diferente. Na Pareto, a gente trabalhou ali com o histórico de Pareto, tem como cliente, ó, Netflix, Spotify, Shopify, Samsung, Coinbase, Greenpeace, Universal Music, então tem clientes maravilhosos, né?

que estão e passaram lá pela história. Só que o mundo de serviço, ele é muito mais lento. Quando eu vou para o mundo de produto, minha cabeça 100% ali é, cara, tem um gap na minha visão muito claro e esse gap, ele tem a mesma raiz da AGI.

só é possível encontrar, a gente, teoricamente, só vai ser possível construir uma ADI pensando em multimodalidade. Cada parte do cérebro, naturalmente, se a gente quiser imitar para construir uma ADI, a gente vai precisar construir, obviamente, modelos e treinamentos diferentes para imitar cada parte do cérebro. Eu acredito que o que nós estamos construindo, uma IA focada em performance, focada em

Só para você ter ideia, a principal métrica nossa é a quantidade de prompt necessário para uma tarefa completa. Quando a gente começou, a plataforma era 11. Hoje, a gente está batendo em 3. Então, 3 é alguma coisinha. A nossa meta é chegar em 1. Eu quero botar um prompt que seja quadrado, que seja mal feito, mas a gente ir conseguindo resolver o problema para ele ainda, que ele não esteja sendo muito bem elaborado. Então, acredito que esses projetos, eles...

tem três meios dentro da plataforma. No próprio onboarding, as informações que ela insere, essas informações são adicionadas na memória dele, que é uma coisa diferente. É a memória igualzinha do chat EPT, a diferença da memória da Tess é que a gente entende que no ambiente profissional,

A memória tem duas coisas. Ela pode ser boa, mas ela pode ser uma contaminação. Às vezes você quer gerar uma coisa para um cliente e contamina a resposta com coisas da memória que você não queria. Então, no universo profissional, a gente entendeu que a memória precisa ser selecionável ou não, ao invés de ser uma configuração geral mais chata de você entrar, lembrar que tem que desmarcar, e tem que ser categorizável.

Porque no nosso dia a dia tem memórias, por exemplo, profissionais, tem memórias da minha rede social, tem memórias de um projeto que eu gosto de separar e ativá-la dentro de um projeto. Então a primeira coisa de customização é a memória já no processo de onboarding que é criada. A partir daí as memórias vão sendo construídas e categorizadas dinamicamente. Segundo ponto,