Neste episódio do Product Guru's, Paulo Chiodi recebe Jefferson Andrade, um dos maiores especialistas em scraping e agentes de IA do Brasil, para um bate-papo profundo e direto sobre o futuro da extração de dados. Jeff compartilha como a evolução do scraping, de scripts simples para agentes autônomos baseados em IA, está transformando setores como turismo, varejo, automobilístico e farmacêutico. Ele detalha os desafios técnicos, as complexidades dos sites dinâmicos e a crescente importância de decisões baseadas em dados estruturados.Além disso, o episódio apresenta uma demonstração prática de scraping com agentes de IA utilizando ferramentas open source como LangChain e Browserless. Jeff mostra como os agentes planejam ações, interagem com sites, enfrentam barreiras como captchas e utilizam prints e DOM para tomada de decisão. O conteúdo também aborda aspectos éticos e legais do scraping e revela casos reais de aplicação, como o uso dos dados pela BMW para planejamento global de produtos. Um episódio imperdível para quem quer dominar scraping com IA de verdade.// Onde encontrar o convidado: Cristian Pedroso | Lead Software Developer @ rpchttps://www.linkedin.com/in/andradejefferson/// Recado Importante: O futuro dos produtos digitais já começou e a Inteligência Artificial é parte do time.A PM3 acaba de lançar a Formação em Gestão de Produtos de IA: um curso pensado para Product Managers que querem criar, delegar e inovar com mais inteligência. Muito além dos prompts: você vai aprender a liderar produtos baseados em IA, dominar temas como Machine Learning, Deep Learning e IA Generativa, e aplicar novas formas de discovery, experimentação e validação.Prepare-se para o mercado que mais cresce no mundo e torne-se o PM que lidera a transformação.Acesse o link e saiba mais: https://go.pm3.com.br/ProductGurus-AI-Specialist/// Nesse episódio abordamos:• Scraping é a extração automatizada de dados estruturados a partir de sites.• Agentes de IA tornaram a extração de dados muito mais dinâmica e adaptável.• Frameworks modernos dificultam o scraping com identificadores dinâmicos.• Setores como turismo, varejo e farmacêutica dependem fortemente de dados extraídos.• A BMW usa scraping para tomar decisões sobre novos modelos de veículos.• Agentes de IA conseguem contornar erros de navegação com raciocínio lógico.• Privacidade e ética são cruciais: scraping deve respeitar dados públicos e regras legais.• Sites usam defesas como captchas e headers para impedir bots automatizados.• Agentes com reasoning permitem auto-recuperação em ambientes instáveis (self-healing).• O futuro do scraping será moldado por IA, prompt engineering e navegação visual./// Capítulos00:00 Introdução01:36 Apresentação de Jefferson Andrade01:44 O que é scraping?02:39 Como o scraping evoluiu com IA05:04 Scraping em escala e desafios técnicos07:29 Casos reais: hotéis e BMW10:32 Setores que dependem de scraping12:37 Demonstração: scraping com agentes de IA16:06 Tecnologias e ferramentas utilizadas19:35 Execução prática: scraping em e-commerce24:07 Prompt engineering e limitações27:43 Navegação autônoma com IA na prática30:15 Privacidade, segurança e bloqueios33:07 Estratégias para contornar barreiras legais35:29 Scraping de dados públicos e limites éticos40:01 Riscos e responsabilidade com agentes de IA42:32 Armazenamento e uso dos dados extraídos45:11 Futuro do scraping com IA46:46 Encerramento/// Onde encontrar a Product Guru’s:WhatsApp: https://whatsapp.com/channel/0029Va7uwHS5fM5U0LIatu3XX (antigo Twitter): ⁠https://twitter.com/product_gurus⁠LinkedIn: ⁠https://www.linkedin.com/company/product-guru-s/⁠Instagram: ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠https://www.instagram.com/product.gurus/⁠

Ask this episode

“What did the council decide on item 42?” — answered with the speaker and the moment.

Transcript

Related