Professores

Dinâmica curso

• As aulas serão um espaço de teoria, exemplos e dúvidas.

• Teremos exercícios para serem feitos "em casa" e um trabalho final (Kaggle!). Com exceção da entrega final, nenhum exercício precisará ser entregue.

• O certificado será emitido mediante uma entrega final. O prazo da entrega final será estabelecido ao longo do curso.

• Haverá monitoria para esclarecimento de dúvidas sempre 30 minutos antes do início das aulas.

Tirando dúvidas

• Não existe dúvida idiota.

• Fora do horário de aula ou monitoria:

  • perguntas gerais sobre o curso deverão ser feitas no Classroom.

  • perguntas sobre R ou Machine Learning, principalmente as que envolverem código, sugerimos serem enviadas no nosso discourse.

Por que usar o discourse?

• Muito melhor para escrever textos que possuem códigos. Com ele, podemos usar o pacote {reprex}! Veja aqui dicas de como fazer uma boa pergunta.

• Aprender a pesquisar sobre erros que o R solta e fazer a pergunta certa é essencial para aprender e resolver problemas de programação.

• No discourse, teremos mais pessoas acompanhando e respondendo as dúvidas.

• Em um ambiente aberto, as suas dúvidas vão contribuir com a comunidade (a sua dúvida pode ser a mesma que a da outra pessoa!).

https://discourse.curso-r.com/

Conteúdo

• Introdução

• Árvore de Decisão - Mini-revisão

• XGBoost - Teoria

• XGBoost - passo a passo

• Hiperparâmetros/Estratégias

Agenda

Referências

Referências

Referências

XGBoost

XGBoost

Alinhamento de conceitos

XGBoost

XGBoost

XGBoost

Objetivos do Curso

Ao final do curso, a aluna/o aluno

• Saberá explicar como o XGBoost funciona.

• Terá mais uma opção de escolha além da regressão logística/linear, random forest, redes neurais, knn, entre outras.

• Ficará a vontade em propor o uso de XGBoost em seu trabalho.

No R

# XGBoost
modelo_xgb <- boost_tree(
  min_n = tune(),
  mtry = tune(),
  trees = tune(),
  tree_depth = tune(),
  learn_rate = tune(),
  loss_reduction = tune(),
  sample_size = tune() 
)

Intuição das somas de árvores

Intuição dos hiperparâmetros

Intuição dos hiperparâmetros

modelo <- boost_tree(
  mtry = 1, 
  trees = 100, 
  min_n = 1, 
  tree_depth = 1, 
  learn_rate = 1,
  sample_size = 1, 
  loss_reduction = 1
)

modelo <- boost_tree(
  mtry = 1, 
  trees = 100, 
  min_n = 1, 
  tree_depth = 2,
  learn_rate = 1,
  sample_size = 1, 
  loss_reduction = 1
)

Intuição dos hiperparâmetros

modelo <- boost_tree(
  mtry = 1, 
  trees = 100, 
  min_n = 1, 
  tree_depth = 1, 
  learn_rate = 0.1,
  sample_size = 1, 
  loss_reduction = 1
)

modelo <- boost_tree(
  mtry = 1, 
  trees = 100, 
  min_n = 1, 
  tree_depth = 1, 
  learn_rate = 1,
  sample_size = 0.5,
  loss_reduction = 1
)

Intuição dos hiperparâmetros

modelo <- boost_tree(
  mtry = 1, 
  trees = 100, 
  min_n = 1, 
  tree_depth = 1, 
  learn_rate = 1, 
  sample_size = 1, 
  loss_reduction = 0.1
)

modelo <- boost_tree(
  mtry = 1, 
  trees = 100, 
  min_n = 1,  
  tree_depth = 2,
  learn_rate = 0.1,
  sample_size = 0.5,
  loss_reduction = 0.1
)

Extrapolação dos modelos de árvores

Sobre os problemas nos dados

• XGBoost trata missing automaticamente dentro dele, não precisa tratar. Porém, sempre vale técnicas de imputação para tentar aprimorar o modelo!

• Multicolinearidade não é um problema grave para modelos de árvore. Mas é sempre bom filtrar variáveis explicativas muito correlacionadas. Ler esse post para exemplo.

• Variável resposta precisa ir como factor. Não pode ser character nem 0/1.

• As variáveis categóricas precisam ser "dummyficadas" antes. XGBoost só aceita explicativas numéricas.

• A escala das variáveis explicativas não atrapalham modelos de árvores.

• A assimetria das variáveis explicativas não atrapalham modelos de árvores.