Fabrício Carraro

mensal, né? Dada essa introdução, quer explicar certo agora o que vocês fazem? Claro, claro, claro, sem problema. Olha, a gente tem uma plataforma que é voltada para a colaboração dos modelos, é um conceito um pouco diferente. Acho que no mundo de IA existe, sem sombra de dúvida, a vertical da agregação e colaboração, sendo que na agregação existem muitos players no mercado e

majoritariamente brigando muito pela questão de quantidade de integrações versus preço, então o jogo de preço é muito sensível, e do outro lado existe a briga de horizontal e vertical, então o TES é uma plataforma voltada para colaboração nos modelos, que são pouquíssimas plataformas hoje no mundo, então

Como a gente tem a Manos AI, tem o Cursory, o Lovable, já numa outra linha mais verticalizado, mas ainda assim, né? São plataformas que não se limitam só a integrar modelos, mas trabalham rotineiramente para que os modelos melhorem a comunicação entre si, né? Então, para que o ChatGPT, dentro dessa plataforma, possa performar melhor do que nele mesmo.

Então, por exemplo, isso acontece quando você permite um chat IPT comunicar com o Clóide, quando os modelos podem conversar entre si, você consegue levar o dilema de performance para um outro patamar. Exemplo de benchmarks que dá para se aplicar. Então, assim, é quase isso que você falou, mas o único ponto que eu pôria aí que é mais voltado para a colaboratividade do que uma simples agregação, que é um mercado já, assim, na nossa visão, muito lotado.

Então, basicamente, seria um agentão com todos os modelos ali plugados, algum orquestrador por trás disso que vai escolhendo qual faz melhor o quê. É, exatamente. Eu entendo, assim, vamos lá, eu comecei minha carreira de IA já tem quase 20 anos, já tem 17 anos, então eu não entrei no mundo da IA por conta do hype, por conta de tudo estar acontecendo, comecei como pesquisador na UFRJ, publiquei alguns artigos acadêmicos, então IA foi um assunto que

A minha segunda empresa de IA é um assunto que sempre me atraiu, uma coisa que eu realmente larguei minha faculdade para trabalhar com isso. Então eu tenho uma visão da IA um pouco mais matemática do que... Por isso que, de fato, a visão agêntica para mim da IA, colaborativa, é uma visão que é o único caminho da minha forma de enxergar, matemático inclusive, para uma performance nível profissional.

Eu acho que a agregação ela é muito bacana no sentido de ajuda muita gente que às vezes tem que gastar muito dinheiro com muitas plataformas então de fato ajuda. Mas ela é um dilema quase que de patamar de qualidade inferior mesmo porque um agregador tem dois tipos de agregadores tem os agregadores ilimitados estão os limitados os limitados costumam resolver de boas maneiras.

o jogo, e a galera mais ilimitada vai usar uma série de subterfúgios normalmente para conseguir dar uma IA, que tipicamente é muito caro você dar uma IA, é limitado o pessoal para dar por 100 reais, 80 reais, acaba fazendo uma série de coisas. Então a sua análise de uma espécie de agentão está correta, é isso, quase como um Generic AI Agent, o GAIA, a sigla GAIA.

Então, só para dar uma ideia, em 2019 eu dei uma palestra dizendo porque que em cinco anos as pessoas iam estar trabalhando com algum tipo de assistente de ar, e na época isso foi publicado, o pessoal falou, você é maluco, você tem aquele negócio falando de carro voador, na cabeça das pessoas era meio carro voador, mas para a gente que já está no métier, vamos falar, a gente tem uma visão de ar...

E IA é uma coisa meio inevitável, eu larguei a faculdade porque para mim IA era uma forma mais elegante de se calcular muitos problemas matemáticos, então não era tipo metaverso que naturalmente depende de uma mudança de paradigmas da sociedade e das pessoas, mas é isso. Então assim, a visão agêntica começou, vamos falar assim, começou com o orquestrador da TES, que é um projeto que já tem quase 10 anos,

Então, lá atrás eu tinha, na minha cabeça, até para uma questão matemática, quando a gente pensa em modelagem de inteligência artificial, você nunca resume a um modelo de treinamento, né? Então, dá para entender de uma maneira muito clara que se a gente quiser analisar vision, se você quiser fazer um trabalho de geração de imagem, de vídeo,

você vai precisar de modelagens distintas, né? Então, na minha cabeça, vamos falar assim, a multimodalidade sempre foi uma coisa muito natural. E quando a gente ia para o mercado, não encontrava. Muitas das coisas que a gente foi atrás de fazer foi até antes de surgirem muitas das plataformas que estão aí. Então, assim, eu diria para você o seguinte, a gente começou primeiro a desenvolver a nossa,

Depois surgiram vários desses frameworks. A gente tentou implementar, não tivemos os resultados desejados por uma série de questões muito técnicas. Algumas questões, por exemplo, relacionadas à performance, outras relacionadas a grau de alucinação, interações multiagênticas. Em várias dessas plataformas, a gente às vezes queria restringir o volume de trocas e, de repente, a IA já estava batendo um papo de já era o trigésimo agente chamado na conversa.

Eles falaram, cara, calma, não precisa. Era quase como só um bom dia. O cara começou a pirar ali na cabeça. Então, tipo assim, nos nossos testes, a gente não conseguiu ter o equilíbrio que a gente precisa, que o nosso caso é muito específico. Então, o nosso caso não é um caso de conversa, não é um manhado dia a dia, tanto que 30% dos nossos clientes

Só assinantes de chat IPT, a gente não se vê concorrendo com o chat IPT. A TESA foi criada para o público profissional, 100% profissional. O cara que precisa entregar mais resultado. Então, por exemplo, a gente faz revisão de benchmarks de VAL toda semana. O chat IPT novo, o 5.1, quer dizer, agora tem o 5.2, mas a versão de novembro, estava batendo 73% na baseline do MMLU Pro.

E isso é a baseline mesmo dele, não a upper band, que normalmente é o que é divulgado. Então assim, quando a gente bota uma interação de multimodal, a gente já consegue elevar essa pontuação para 88%, upper bound de 92%. Então assim, como eu preciso desenhar uma solução mais para o profissional, muitos dos dilemas ali acabam não sendo, estou falando da questão da interação agente, que acaba não batendo do jeitinho que a gente precisa.

Então vou dar um exemplo, a Manus AI. Na Manus AI você começa a usar, ela acaba começando, abrindo uma VM. Por isso que é caro. Aí você pega o pessoal, uma principal reclamação, pô, meu, eu só posso fazer três, quatro coisas lá dentro e já acabaram os meus créditos. Por quê? Quando você abre VM pra tudo, você vai pagar por segundo, né? Então tem uma série de decisões que são bem complexas assim, que fez com que a gente montasse a nossa própria estrutura e que agora, né, a gente fechou uma parceria excelente com a Tropic, então...

Tem uma série de dilemas na arquitetura por trás da tese. Sem sombra de dúvida, é a área que a gente mais, eu diria, tem a maior quantidade do IP da empresa mesmo, que é o que está chamando bastante atenção. A gente vende bastante para fora do Brasil, o produto tem uma adesão muito boa fora do Brasil, por conta, eu diria, dessa inteligência de roteamento. Então, eu diria que a nossa arquitetura, a arquitetura do nosso roteador é distribuída em três camadas.

A primeira camada, sem sombra de dúvidas, são os evolves. Então assim, nós não seguimos o que as empresas dizem dos seus benchmarks. Então quando o ChatPT fala que performou 82%, sei lá, 80% no MMLU Pro, ou que teve 78% no Gaia Benchmark, eu não uso essa informação.

eu pego o GPT e boto para fazer todas as perguntas de novo. Então são meio milhão de perguntas, no mínimo, que vai ter que responder para eu repassar a performance do modelo em todos os evals. Depois que eu tenho a performance do modelo em todos os evals, aí eu tenho uma análise, inclusive usando alguns evals nossos próprios, aí eu tenho uma análise do que aquele modelo de fato é bom. E aí uma curiosidade aqui, hoje em dia as coisas estão um pouco mais acuradas, tá?