Trilha BigData

Nova tendência, nova oportunidade

Saiba e conheça mais sobre Big Data e seus 3V's: volume, variedade e velocidade. Aprenda mais sobre a mineração de enormes volumes de dados estruturados e não estruturados de informações úteis, usando ferramentas não-tradicionais de data-sifting, incluindo Hadoop.

Horário	Palestra
08:00 às 09:00	Credenciamento e recepção dos participantes com café da manhã simples
09:00 às 10:00	Abertura
10:10 às 11:00	BigData and Machine Learning: Usage and Opportunities for your IT department (STADIUM) BigData and Machine Learning: Usage and Opportunities for your IT department (STADIUM) Mathieu Despriee Big Data, MapReduce, distributed computing, NoSQL, all of these are buzzwords and concepts only implemented by a few actors. Still, we are sitting on a gigantic heap of data, from which it's difficult to extract valuable information... MapReduce is a proven solution to analyze those big data. It has been used by Google to index the web, by LinkedIn to compute its email campaigns... And new components continue to appear. Do these concepts have any interest for our IT department ? What's the maturity of these solutions ? What are the business opportunities related to BigData ? How to master the Hadoop ecosystem, and master its architecture and configuration ? Mathieu Despriee
11:10 às 12:00	MySQL Cluster - visão geral MySQL Cluster - visão geral Airton Lastori Uma visão geral sobre o MySQL Cluster incluindo sua capacidade de oferecer 99,999% de disponibilidade com performance superior a 1 bilhão de escritas por minuto, abordando algumas funcionalidades, e interfaces NoSQL e casos de uso como Paypal e games. Airton Lastori
12:00 às 13:00	Intervalo para almoço*
13:10 às 14:00	Monitorando gateway de pagamentos com Splunk Monitorando gateway de pagamentos com Splunk Marcio Ghiraldelli Case de uso de sucesso utilizando solução de BigData comercial Splunk para monitoração em tempo real do maior gateway de pagamentos do Brasil - o UOL PagSeguro Marcio Ghiraldelli
14:10 às 15:00	Storm, processamento e analises em tempo real para Big Data Storm, processamento e analises em tempo real para Big Data Fabio Velloso Big Data foi classificada pela consultoria McKinsey como a próxima fronteira da inovação, competição e criatividade. Atualmente ja podemos observar várias aplicações e os grandes players da Internet se beneficiando deste conceito com tecnologias Open Source. Neste palestra serão apresentadas as caracteristicas principais do Storm para o desenvolvimento de aplicações que respondem a eventos com baixa latência, possibilitando analises em tempo real de eventos. Serão apresentados também cenários de uso e suas aplicações , bem como a integração com bancos de dados NoSQL e o framework Hadoop criando assim uma arquitetura que aproveita as caracteristicas destas podendo processar adequadamente eventos de baixa latência e processos batch. Fabio Velloso
15:00 às 15:30	Coffee-break & networking
15:40 às 16:30	Padrões de design para MapReduce Padrões de design para MapReduce Felipe Ferreira / Karla Okada Gomes MapReduce é um paradigma computacional para processamento de dados em centenas de computadores que tem sido popularizado recentemete pelo google, hadoop e outros. O paradigma é poderoso, porém, é preciso que se saiba utilizar de forma correta afim de se obter os benefícios que ele oferece. Um dos problemas mais comuns enfrentados pelos desenvolvedores é a dificuldade de implementar MapReduces de forma padronizada utilizando os seus componentes de forma correta. Esta palestra tem como objetivo abordar os padrões de design para o desenvolvimento de MapReduces. Através desses padrões, é possível deixar os MapReduces mais organizados e adaptados para aproveitar os recursos que o paradigma oferece. Felipe Ferreira / Karla Okada Gomes
16:40 às 17:30	Arquiteturas Java pragmáticas para usar big data na nuvem Arquiteturas Java pragmáticas para usar big data na nuvem Fabiane Bizinella Nardon / Fernando Babadopulos Processar, analisar, reduzir, escalar, inovar? A vida de um arquiteto de software trabalhando com big data pode ser tanto um sonho quanto um pesadelo. Por um lado, você tem um poder de processamento na nuvem como nunca existiu antes, além de ferramentas que podem transformar suas ideias mais malucas em aplicações totalmente disruptivas. Por outro lado, é muito fácil cair em gargalos arquiteturais ou custos de escala proibitivos. Ferramentas como Hadoop, Hive, Pig, Crunch e HBase transformaram Java na força por trás da revolução do big data. No entanto, é bem fácil ficar totalmente perdido entre as várias opções de ferramentas disponíveis, sem saber como e quando usar cada uma delas. Esta palestra irá apresentar arquiteturas Java bem pé-no-chão para construir aplicações de big data eficientes mantendo os custos de hosting na nuvem o mais baixos possíveis. Vamos mostrar como combinar de forma eficiente ferramentas open source bem conhecidas e também apresentar alguns dos nossos truques secretos para ter uma performance sensacional, sem ficar maluco no processo. Fabiane Bizinella Nardon / Fernando Babadopulos
17:40 às 18:30	Relatórios e Estatísticas de e-mail utilizando logs em tempo real Relatórios e Estatísticas de e-mail utilizando logs em tempo real Francisco Freire Quando se administra um sistema de e-mails com mais de 3 milhões de contas, mais de 100 milhões de e-mails enviados/recebidos todos os dias, tudo funcionando corretamente, porém surge uma necessidade, ter controle total sobre tudo que está acontecendo, mensagens enviadas/recebidas, envio de spam, consulta rápida para detecção de erros, contadores, etc. Como fazer? Pensando em tecnologia chega próximo ao impossível ter essas informações em uma base de dados SQL comum, visto que são milhares de eventos gerados por segundo, as consultas devem ser mais rápidas ainda e são dados temporários, que são utilizados em no máximo alguns dias e depois descartados. Um desafio mesmo para servidores NoSQL. Foram feitos diversos tipos de testes, utilizando tanto servidores SQL quanto NoSQL, sempre funcionando bem nos primeiros minutos, porém após uma certa quantidade de dados sempre eram sobrecarregados mesmo escalando horizontal/verticalmente, separando por grupos, por máquinas, por sistemas não conseguimos chegar em um ambiente ideal, em se tratando de complexidade x performance. Após cansativos testes chegamos ao melhor sistema custo/benefício, sem a necessidade de alteração de aplicações, integrando diretamente com o rsyslog e utilizando como backend servidores redis. Assim quando um serviço/sistema envia seu log via sislog, temos uma configuração dentro do rsyslog que envia para um processo interno que roda no mesmo servidor (fazendo que que a perda de logs sejá muito baixa ou mesmo 0), esse processo faz o parse, processa e envia para o lugar correto. No caso de contadores (temos "n" contadores, por ips, domínios, contas, hora, dia, etc) ele manda para o redis, e o próprio log raw é encaminhado para o graylog (que utiliza como backend o elastic search) para consulta depois. Hoje o redis responde a cerca de 70k operações por segundo e temos mais de 100 milhões de linhas de log armazenadas no graylog a cada hora. Como resultado, temos todos os contadores que precisamos e podemos gerar relatórios, detectar anomalias e avaliar alterações no ambiente. Pelo lado de troubleshooting, temos um enorme ganho com a centralização de consultas dentro do graylog, e qualquer nível de atendimento ganha pois pode fazer a consulta pela interface e detectar problemas rapidamente. Francisco Freire
18:40 às 19:00	Encerramento e sorteios

* Todos os participantes receberão um sanduíche na hora do almoço

Obs.: Grade sujeita a alteração

Outro

Alexandre Uehara

Palestrante
Founder e Head de Inovação da Innov8 Mindset & Strategy
Coordenador e Professor MBA em Gestão da Inovação
Possui +20 anos de experiência de mercado em Gestão, Estratégia e Cultura de Inovação Corporativa (Alelo, Camara Interbancária de Pagamentos, Netshoes, Dafiti, Porto Seguro, Embraer)
Ex-Membro do Comitê Executivo de Inovação da FEBRABAN
Mentor de +400 startups de mercado (Endeavor, Premio ideia ABBC, InovAtiva, Sebrae, Google Startups, Founder Institute R3 Corda etc.)
Investidor Startups. Advisor IDL (Chicago EUA)
Primary Ambassador SingularityU Chapter Sao Paulo
Artigos: Revista VocêRH, Exame, Época Negócios etc
Membro Comitê Eventos Tech ABFintechs

Wagner Roberto dos Santos

Wagner Roberto dos Santos é instrutor da Globalcode nas formações Academia Agile e Academia do Arquiteto, professor da FIAP nos cursos de especialização, possui mais de 12 anos de experiência na área de desenvolvimento de sistemas. Atuando atualmente como Arquiteto de Software e Agile Coach pela OCTO Technology. Como arquiteto de software, se especializou na Plataforma Java EE, com experiência em ambientes distribuídos e de alta complexidade. Tendo utilizado tecnologias emergentes como os serviços AWS (Amazon Web Services) para controle de um ambiente em nuvem, NoSQL e Big Data. Ainda como arquiteto, trabalha na facilitação de times na definição de modelos ricos de domínio, favorecendo o uso de processos com o Domain Driven Design. Como Especialista em Agilidade, possui profundo conhecimento em técnicas de coaching e facilitação para liderança de equipes. Com pleno domínio em metodologias ágeis como FDD, Lean Kanban, Extreme Programming (XP) e Scrum. É Autor de diversos artigos para as revistas Mundo Java e Java Magazine. Possui as certificações SCJA, SCJP, SCWCD, SCSNI, SCJWSD, SCBCD, SCEA(I), CSM e ACP. Nas horas vagas mantém o blog http://netfeijao.blogspot.com

Outro

Airton Lastori

Airton Lastori é consultor MySQL da Oracle Brasil. Possui formação em Ciência da Computação pela Universidade Federal de Itajubá e especialização em Engenharia de Software baseada em SOA pelo IBTA. Há mais de 10 anos está envolvido com diversas tecnologias Open Source relacionadas principalmente ao universo Web.

Site

Fabiane Bizinella Nardon

Fabiane Bizinella Nardon é mestre em Ciência da Computação pela UFRGS e Doutora em Engenharia Elétrica pela USP. Ela foi arquiteta do Sistema de Saúde de São Paulo, considerado o maior sistema JavaEE do mundo e vencedor do Duke?s Choice Award de 2005. Liderou e lidera várias comunidades, incluindo a JavaTools Community no java.net, onde nasceram mais de 800 projetos open source. Palestrante frequente em conferências no Brasil e exterior, foi autora de diversos artigos técnicos e membro dos comitês de programa de conferências como JavaOne, OSCON, TDC, QConSP. Foi escolhida Java Champion pela Sun Microsystem, como reconhecimento de sua contribuição para o ecosistema Java. Atualmente é Chief Data Scientist da Tail, empresa que produz soluções

Fabio Velloso

...

Felipe Ferreira

Analytical, performance focused engineer with over 12 years experience in enterprise systems development and architectural design using JEE technology. Specialized in Big Data platform analytics using Hadoop and associated ecosystem tools. Exceptional technology skills combined with ability to drive user-centric solutions, define strategy and lead data management.

Fernando Babadopulos

Arquiteto de software, empresário e entusiasta de novas tecnologias, foi responsável pelo desenvolvimento de algumas das aplicações web mais conhecidas do Brasil e do exterior. Com mais de 15 anos de experiência na área de internet, é especialista na criação e concepção de sistemas de alto desempenho. Foi um dos pioneiros na utilização de Java para aplicações de data science e é um palestrante frequente em conferências no mundo todo. É mestre em engenharia da informação pela Universidade Federal do ABC e bacharel em ciências da computação pelo Centro Universitário da FEI. Reconhecido como Java champion e ganhador do Duke's choice award pelas suas contribuições para o ecossistemas Java.

Francisco Freire

Sysadmin, trabalha com Linux há 10 anos, não tem medo de novas tecnologias, pai de primeira viagem e jogador de wow nas poucas horas restantes do dia.

Karla Okada Gomes

Profissional com Mestrado em Informática (Recuperação de Informação) pela UFAM em 2010. Com especialização em Tecnologias Web, pela UFAM 2005 e Graduação em Ciência da Computação, pela UFAM em 2003. Possui mais de 10 anos de experiência em desenvolvimento de software, atuando desde 2005 em projetos de P&D com desenvolvimento Java EE/SE.

Marcio Ghiraldelli

Marcio Ghiraldelli é Especialista de Sistemas e atua na área de P&D do UOL há 4 anos. Foi desenvolvedor Java na B2W (Americanas/Shoptime/Sumarino) por 4 anos e Sócio/Proprietário de agência de desenvolvimento de sites por 2 anos. Possui certificações Java Certified Enteprise Architect 5 e MBA Gerenciamento de projetos PMI.

Mathieu Despriee

Mathieu DESPRIEE is a senior architect at OCTO Technology - He works as a consultant around scalability, distributed architecture, nosql, and organizational patterns that allows to build great product : lean, devops.

Público Alvo

Desenvolvedores que queiram aprender mais sobre Big Data / Hadoop; Coordenadores e gerentes que querem saber o que é o Big Data e como se beneficiar com ele Estudantes que querem ver uma nova oportunidade na carreira