Para quem está olhando de fora, a Engenharia de Dados parece uma sopa de letrinhas interminável: Airflow, Spark, dbt, Supabase, AWS, Azure... Como conectar tudo isso sem criar um monstro complexo e caro? Esta palestra é 100% focada em arquitetura e conceitos visuais, desenhada para quem quer entender como o dado flui desde a origem até o dashboard. Vamos analisar de forma didática o papel de cada ferramenta no pipeline moderno (ingestão, armazenamento, transformação e orquestração). Você sairá daqui com um mapa mental claro de como desenhar soluções eficientes na nuvem, priorizando fundamentos em vez do "hype" do mercado.

Todo produto de dados bem-sucedido compartilha uma característica em comum: uma fundação sólida que raramente é percebida pelos usuários. Nesta palestra, discutiremos por que dashboards, modelos e métricas só geram valor quando sustentados por pilares fundamentais da engenharia de dados.Uma reflexão sobre como a engenharia de dados deixa de ser apenas responsável por pipelines para assumir um papel estratégico na construção de produtos que as pessoas realmente confiam para tomar decisões.

Apresento como construir uma solução moderna de streaming analytics que detecta anomalias em eventos e aciona IA agêntica para responder autonomamente. A arquitetura combina Amazon MSK para ingestão real-time, Amazon Managed Service for Apache Flink com Complex Event Processing para identificar padrões anômalos em janelas de tempo, e Strands Agents no Amazon Bedrock AgentCore para diagnosticar e recomendar ações. O caso conceitual é detecção de comportamento suspeito em network flow logs, com persistência em S3 + Apache Iceberg para investigação forense via Athena. Cubro fundamentos de tumbling/sliding windows e a arquitetura do AgentCore Runtime.

Com a ascensão da IA Generativa, agentes autônomos e novas demandas do mercado, o papel do Engenheiro de Dados está evoluindo rapidamente.

Neste painel, discutiremos quais competências continuarão essenciais, quais novas habilidades estão surgindo e como os profissionais podem se preparar para um cenário em que dados e inteligência artificial estão cada vez mais conectados.

Empresas acumulam dados, documentos e processos, mas raramente conseguem transformar esse conhecimento em inteligência utilizável. Nesta palestra, exploraremos como Grafos de Conhecimento podem criar uma memória organizacional capaz de conectar pessoas, informações, decisões e contexto em um único sistema cognitivo. A partir de casos práticos, veremos como organizações podem evoluir de repositórios fragmentados para estruturas que preservam conhecimento, ampliam a capacidade de decisão e servem como base para agentes de IA mais eficazes. Afinal, a vantagem competitiva da próxima década não estará nos modelos, mas na qualidade do contexto que eles conseguem acessar.

Times de engenharia não ignoram privacidade por descuido. Ignoram porque a premissa parece óbvia: dado público pode ser usado livremente. Nessa talk vou mostrar por que essa premissa é falsa e quais são as consequências práticas disso para quem constrói pipelines sobre dados judiciais. Vou traduzir o conflito entre a Lei de Acesso à Informação, o princípio da publicidade processual e a LGPD em decisões técnicas concretas: o que anonimizar, o que não armazenar, como documentar a base legal do tratamento e como construir um pipeline que sustente um questionamento regulatório. Saindo daqui você vai ter um checklist aplicável ao seu projeto, não uma lista de artigos de lei.

Em todos esses anos de carreira, usei e gerenciei em 3 momentos diferentes Apache Airflow, em todas elas observei erros gigantescos que geram problemas para o time de dados e tiram confiança daqueles que dependem de seus pipelines, nessa palestra quero falar um pouco sobre eles de forma bem franca, elencando as burradas e como mitiga-las!