Índice

1. 1. O que é Ciência de Dados?
   • 1.1. Introdução
     • 1.1.1. Ferramentas Computacionais
     • 1.1.2. Técnicas Estatísticas
   • 1.2. Por que Ciência de Dados?
   • 1.3. Traçando os Clássicos
     • 1.3.1. Personagens Literários
     • 1.3.2. Outro Tipo de Personagem
2. 2. Causalidade e Experimentos
   • 2.1. John Snow e a Bomba da Broad Street
   • 2.2. O “Grande Experimento” de Snow
   • 2.3. Estabelecendo Causalidade
   • 2.4. Randomização
   • 2.5. Notas Finais
3. 3. Progamando em Python
   • 3.1. Expressões
   • 3.2. Nomes
     • 3.2.1. Exemplo: Taxas de Crescimento
   • 3.3. Chamadas
   • 3.4. Introdução às Tabelas
4. 4. Tipos de Dados
   • 4.1. Números
   • 4.2. Strings
     • 4.2.1. Métodos de Strings
   • 4.3. Comparações
5. 5. Sequências
   • 5.1. Arrays
   • 5.2. Ranges
   • 5.3. Mais sobre Arrays
6. 6. Tabelas
   • 6.1. Ordenando Linhas
   • 6.2. Selecionando Linhas
   • 6.3. Exemplo: Tendências Populacionais
   • 6.4. Examplo: Proporções de Sexos
7. 7. Visualização
   • 7.1. Visualizando Distribuições
     Categóricas
   • 7.2. Visualizando Distribuições Numéricas
   • 7.3. Gráficos Sobrepostos
8. 8. Funções e Tabelas
   • 8.1. Aplicando Função a uma Coluna
   • 8.2. Classificando por uma Variável
   • 8.3. Classificação Cruzada
   • 8.4. Unindo Tabelas por Colunas
   • 8.5. Compartilhamento de Bicicletas
9. 9. Aleatoriedade
   • 9.1. Declarações Condicionais
   • 9.2. Iteração
   • 9.3. Simulação
   • 9.4. O Problema de Monty Hall
   • 9.5. Encontrando Probabilidades
10. 10. Amostragem e Distribuições Empíricas
    • 10.1. Distribuições Empíricas
    • 10.2. Amostragem de uma População
    • 10.3. Distribuição Empírica de uma
      Estatística
    • 10.4. Amostragem Aleatória em Python
11. 11. Testando Hipóteses
    • 11.1. Avaliando um Modelo
    • 11.2. Múltiplas Categorias
    • 11.3. Decisões e Incertezas
    • 11.4. Probabilidades de Erro
12. 12. Comparando Duas Amostras
    • 12.1. Teste A/B
    • 12.2. Causalidade
    • 12.3. Esvaziar
13. 13. Estimação
    • 13.1. Percentis
    • 13.2. O Bootstrap
    • 13.3. Intervalos de Confiança
    • 13.4. Usando Intervalos de Confiança
14. 14. Por que a Média é Importante
    • 14.1. Propriedades da Média
    • 14.2. Variabilidade
    • 14.3. O DP e a Curva Normal
    • 14.4. Teorema Central do Limite
    • 14.5. Variabilidade da Média da Amostra
    • 14.6. Escolhendo um Tamanho de Amostra
15. 15. Previsão
    • 15.1. Correlação
    • 15.2. Linha de Regressão
    • 15.3. Método dos Mínimos Quadrados
    • 15.4. Regressão de Mínimos Quadrados
    • 15.5. Diagnósticos Visuais
    • 15.6. Diagnóstico Numérico

from datascience import *
import matplotlib
path_data = '../../assets/data/'
matplotlib.use('Agg')
%matplotlib inline
import matplotlib.pyplot as plots
plots.style.use('fivethirtyeight')
import numpy as np

Previsão

Um aspecto importante da ciência de dados é descobrir o que os dados podem nos dizer sobre o futuro. O que os dados sobre clima e poluição indicam sobre as temperaturas daqui a algumas décadas? Com base no perfil de internet de uma pessoa, quais sites têm maior probabilidade de interessá-la? Como o histórico médico de um paciente pode ser usado para avaliar como ele ou ela responderá a um tratamento?

Para responder a essas perguntas, os cientistas de dados desenvolveram métodos para fazer previsões. Neste capítulo, estudaremos uma das maneiras mais comumente usadas de prever o valor de uma variável com base no valor de outra.

Aqui está um conjunto de dados históricos usado para prever as alturas de adultos com base nas alturas de seus pais. Estudamos este conjunto de dados em uma seção anterior. A tabela heights contém dados sobre a altura dos pais e a altura dos filhos (ambos em polegadas) para uma população de 934 “filhos” adultos. Lembre-se de que a altura dos pais é uma média das alturas dos dois pais.

# Dados sobre a altura dos pais e dos filhos adultos
original = Table.read_table(path_data + 'family_heights.csv')
heights = Table().with_columns(
    'MidParent', original.column('midparentHeight'),
    'Child', original.column('childHeight')
    )

heights

heights.scatter('MidParent')

Uma das principais razões para estudar os dados foi poder prever a altura de um adulto de um filho nascido de pais semelhantes aos do conjunto de dados. Fizemos essas previsões na Seção 8.1, após notarmos a associação positiva entre as duas variáveis.

Nossa abordagem foi basear a previsão em todos os pontos que correspondem a uma altura de pais médios próxima à altura de pais médios da nova pessoa. Para isso, escrevemos uma função chamada predict_child que recebe uma altura de pais médios como argumento e retorna a altura média de todas as crianças que tiveram alturas de pais médios dentro de meio polegada do argumento.

def predict_child(mpht):
    """Retorna uma previsão da altura de uma criança
    cujos pais têm altura média de mpht.

    A previsão é a altura média das crianças
    cuja altura média dos pais está na faixa de mpht mais ou menos 0,5 polegadas.
    """

    close_points = heights.where('MidParent', are.between(mpht-0.5, mpht + 0.5))
    return close_points.column('Child').mean()                                    

Aplicamos a função à coluna de alturas Midparent e visualizamos o resultado.

# Aplique predizer_child a todas as alturas do pai médio

heights_with_predictions = heights.with_column(
    'Prediction', heights.apply(predict_child, 'MidParent')
    )

# Desenhe o gráfico de dispersão original junto com os valores previstos

heights_with_predictions.scatter('MidParent')

A previsão em uma determinada altura do meio-pai fica aproximadamente no centro da faixa vertical de pontos na altura dada. Este método de previsão é chamado de regressão. Mais tarde neste capítulo veremos se podemos evitar nossas definições arbitrárias de “proximidade” sendo “dentro de 0,5 polegadas”. Mas primeiro desenvolveremos uma medida que pode ser usada em muitos ambientes para decidir quão boa uma variável será como preditora de outra.