Dados, dados e mais dados. Fontes externas, internas, data warehouse, centenas de modelos de reports e visualizações. Databases que mudam o tempo todo. O processo de evolução da captura e processamento de dados - construção do Data Lake - foi evoluindo muito rápido e com ele o desafio de distribuição desses dados dentro da empresa. Os dados são consumidos por Data Scientists, BI/Analytics, Marketing, Produto, etc. Nessa talk será abordado o processo de construção do Data Lake e seus desafios por termos uma esturtura multi-cloud, stack, arquitetura e como democratizamos os dados empresa a fora.

Cada vez mais participamos de projetos de Big Data onde a complexidade e a diversidade de dados são cada vez maiores. Ter segurança em todas as etapas do projeto até colocar e manter em produção são grandes desafios. Assim, as práticas de DataOps, soma de boas práticas de Agile e DevOps, auxiliam a melhor gerenciar, publicar e sustentar seu Big Data. Nesta palestra vamos conhecer o passo a passo para você implementar DataOps em seus projetos.

Diariamente produzimos uma grande quantidade de conteúdo online sobre nós, nossos amigos e família. Primeiramente esse conteúdo pode parecer irrelevante, mas, se classificados da forma correta, podem ser usados para identificar padrões e perfis de comportamento de consumo. O Facebook nos permite nadar nesse mar de conteúdos gratuitamente através de aplicativos integrados com a API, portanto cabe a nós extrair valor desses dados. Maior precisão nos dados pode levar à tomada de decisões mais assertivas, que podem significar maior eficiência operacional e redução de risco e custos. Você está pronto(a) para minerar dados com JavaScript através da API do Facebook?

Como construir um time de Data quando não existe a cultura, as pessoas, os sistemas necessários, as ferramentas e os dados? Nessa talk vamos falar dos desafios de construir um time de Data no Luizalabs e contar como escalamos de 7 para 40 pessoas em 4 meses, construindo um ecossistema, criando uma cultura que extrai o máximo dos Data Scientists e Engenheiros, e como saímos praticamente do zero até a produção.

Big Data é uma palavra usada por empresas que empregam métodos analíticos para obter novos insights através da mineração de grandes e variados conjuntos de dados. No entanto, vários campos da física também acumulam conjuntos de dados volumosos que precisam ser filtrados, gerenciados e analisados. Para um número cada vez maior de pesquisadores, um desafio crescente é como abordar esses dados. Nesta sessão de estilo seminário, durante um breve lanche, ouviremos diferentes perspectivas dos principais pesquisadores sobre o manuseio e a exploração de grandes quantidades de dados e as oportunidades que o Big Data tem a oferecer para o futuro da física.

Como uma empresa com mais de 100 anos no mercado financeiro pode se reinventar no cenário onde tudo passou a ser tratado de forma digital? Através de um Analytics forte, baseado em um Data Lake totalmente em Cloud, composto por dados estruturados e não estruturados é possível entregar insigths para a empresa e fazer com que as decisões tomadas sejam baseadas em dados. Isto é ser Data Driven!

Esta palestra aborda a trajetória percorrida na implementação de uma arquitetura de stream processing e ETL serverless na AWS para ingestão, processamento e armazenamento de dados em tempo real e em micro-batch utilizando Kinesis, Lambda e S3.

Ela irá mostrar os caminhos que levaram até a arquitetura atual, bem como os próximos passos na evolução de uma arquitetura serverless, trade-offs feitos na construção dela, e como essa infraestrutura se encaixa dentro do Data Lake como um todo (batch vs real-time).

Quando usar o Logstash como ETL ou o Beats como data shipper e atribuir a responsabilidade do processamento e transformação dos dados ao Elasticsearch? Vamos entender como processar, modelar e transmitir dados com os principais recursos da stack do Elasticsearch feitos para isso.

Essa palestra tem o objetivo de introduzir o público que deseja iniciar uma carreira em Big Data, quais são os perfis existentes o que faz cada um, o que você precisa saber e como você pode buscar formação.