class: center, middle, inverse, title-slide # Faxina de dados ### <img src = 'https://d33wubrfki0l68.cloudfront.net/9b0699f18268059bdd2e5c21538a29eade7cbd2b/67e5c/img/logo/cursor1-5.png' width = '20%'> --- class: middle, center # Sobre a Curso-R --- class: middle, center ## A empresa .pull-left[ <!-- --> <br> <br> <img src="img/logo_r6.png" width="1344" /> ] .pull-right[ <img src="img/produtos.png" width="477" /> ] ### [www.curso-r.com](https://www.curso-r.com) --- ## Ministrantes .pull-left[ ### Julio Trecenti <img src="img/jtrecenti.png" width="30%" /> Doutorando em Estatística pelo IME-USP. Diretor da Associação Brasileira de Jurimetria (ABJ). Professor auxiliar no Insper. Trabalha com web scraping, arrumação de dados, modelos preditivos, APIs, pacotes em R e dashboards em Shiny. ] .pull-right[ ### Fernando Corrêa <img src="img/fernando.jpeg" width="30%" /> Bacharel e mestrando em Estatística pelo IME-USP. Ex-Diretor da Associação Brasileira de Jurimetria (ABJ). Usa R para tudo, mas tem interesse especial em web scraping, visualização de dados e modelagem bayesiana. ] --- ## Nossos cursos <div> <div class="pull-left"> <div class="container center"> <div class="card"> <h2>Programação em R</h2> <hr style="background-color:#3bb44a;"/> <p> <a href="https://www.curso-r.com/cursos/intro-programacao/">Introdução à Programação em R</a> </p> <p> <a href="https://www.curso-r.com/cursos/r4ds-1/">R para Ciência de Dados I</a> </p> <p> <a href="https://www.curso-r.com/cursos/r4ds-2/">R para Ciência de Dados II</a> </p> <p> <a href="https://www.curso-r.com/cursos/pacotes/">Pacotes</a> </p> <p> <a href="https://www.curso-r.com/cursos/rcpp/">Introdução ao R com C++</a> </p> </div> </div> <br/> <div class="container center"> <div class="card"> <h2>Visualização de dados</h2> <hr style="background-color:#ff6699;"/> <p> <a href="https://www.curso-r.com/cursos/visualizacao/">Relatórios e Visualização de Dados</a> </p> <p> <a href="https://www.curso-r.com/cursos/dashboards/">Dashboards</a> </p> <p> <a href="https://www.curso-r.com/cursos/deploy/">Deploy</a> </p> </div> </div> </div> <div class="pull-right"> <div class="container center"> <div class="card"> <h2>Modelagem</h2> <hr style="background-color:#996699;"/> <p> <a href="https://www.curso-r.com/cursos/regressao-linear/">Regressão linear</a> </p> <p> <a href="https://www.curso-r.com/cursos/intro-machine-learning/">Machine Learning</a> </p> <p> <a href="https://www.curso-r.com/cursos/xgboost/">XGBoost</a> </p> <p> <a href="https://www.curso-r.com/cursos/deep-learning/">Deep Learning</a> </p> </div> </div> <br/> <br/> <div class="container center"> <div class="card"> <h2>Extração de dados</h2> <hr style="background-color:#eeba30;"/> <p> <a href="https://www.curso-r.com/cursos/faxina/">Faxina de Dados</a> </p> <p> <a href="https://www.curso-r.com/cursos/web-scraping/">Web scraping</a> </p> </div> </div> </div> </div> --- class: middle, center, inverse # Sobre o curso --- # Sobre o curso A pessoa que trabalha com ciência de dados passa __60-80%__ do tempo na parte de tratamento de dados. Por isso, trabalhar com os dados sujos da melhor forma possível tem __grande impacto__ na realização dos projetos na prática. Faxina de dados __não é fácil__. Em parte das situações, o problema não é exatamente técnico, e sim um __problema de negócio__, na fonte geradora dos dados. O que vamos trabalhar aqui é com __ferramentas úteis__ para leitura e arrumação de dados arrumados. Faremos isso através de vários exemplos. --- # Faxina no ciclo da ciência de dados <img src="img/ciclo-faxina.png" width="80%" style="display: block; margin: auto;" /> A faxina de dados também é conhecida como __ETL__ (Extract, Transform, Load). As definições podem variar dependendo do contexto. --- # Requisitos Este curso assume que você já possui os conhecimentos do curso de [R para Ciência de Dados II](https://curso-r.com/cursos/r4ds-2/). Os requisitos mais importantes são: - `{purrr}`: todos os tipos de `map()`. - `{tidyr}` e `{dplyr}`: funções básicas, integração e pivotagem. - `{stringr}`: funções básicas e expressões regulares. > Se sentir dificuldade em algum ponto que a gente passar rápido, pergunte! --- class: middle, center, inverse # Aulas --- # Dia 01 ## Teoria - Organização de projetos - Conceito de *tidy data* ## Exemplos - Faxina de dados da SSP - Problemas de encoding - Faxina de dados em um projeto de consultoria --- # Dia 02 ## Teoria - Pacote `{janitor}` - Funções menos conhecidas do `{dplyr}` e do `{tidyr}` - Funções de leitura de dados ## Exemplos - Faxina de dados em um projeto de consultoria (continuação) - Leitura de dados em outros formatos - Leitura de dados grandes - Dados da RFB ([brasil.io](https://brasil.io)) --- # Dia 03 ## Teoria - Integração de dados - Detecção de inconsistências ## Exemplos - Faxina de dados de reclamações do Sindec (Procon) - Fazendo um projeto completo do zero: RFB + Sindec - Atividades que não deu tempo de fazer --- # Resultados No final, você terá ... - Conceitos básicos sobre arrumação de dados - Conhecimento de melhores práticas - Mais ferramentas para aplicar - Mais tranquilidade e previsibilidade ao trabalhar com bases desarrumadas --- # Dinâmica - Vários exemplos práticos por aula - __Foco__: bases públicas, consultoria - Sugira problemas do seu trabalho/pesquisa! - Exercícios para casa, com entrega facultativa. - Estaremos online 30 minutos antes das aulas para tirar dúvidas. - Trabalho final, com entrega obrigatória - As 3 pessoas que fizerem os melhores trabalhos receberão uma __bolsa__ para fazer qualquer curso da Curso-R - O trabalho final será definido na aula 2 --- # Tirando dúvidas - **Não existe dúvida idiota / básica demais**. - Nem sempre é trivial fazer a pergunta certa para que outra pessoa esclareça a sua dúvida. - Fora do horário de aula ou monitoria: - Perguntas gerais sobre o curso devem ser feitas no Classroom. - Perguntas sobre R, principalmente as que envolverem código, devem ser enviadas no [nosso discourse](https://discourse.curso-r.com/). - Como os códigos de faxina de dados costumam ser extensos e envolvem dados grandes, tente criar um exemplo reprodutível pequeno do seu problema. - [Veja aqui dicas de como fazer uma boa pergunta](https://discourse.curso-r.com/t/como-escrever-uma-boa-pergunta/542). --- # Por que usar o discourse? - Muito melhor para escrever textos que possuem códigos. Com ele, podemos usar o pacote `{reprex}`! - Saber pesquisar sobre erros e fazer a pergunta certa é essencial para aprender e resolver problemas de programação. - No discourse, teremos mais pessoas acompanhando e respondendo as dúvidas. - Em um ambiente aberto, as suas dúvidas vão contribuir com a comunidade. .center[ ### https://discourse.curso-r.com/ ]