Índice

1. 1. O que é Ciência de Dados?
   • 1.1. Introdução
     • 1.1.1. Ferramentas Computacionais
     • 1.1.2. Técnicas Estatísticas
   • 1.2. Por que Ciência de Dados?
   • 1.3. Traçando os Clássicos
     • 1.3.1. Personagens Literários
     • 1.3.2. Outro Tipo de Personagem
2. 2. Causalidade e Experimentos
   • 2.1. John Snow e a Bomba da Broad Street
   • 2.2. O “Grande Experimento” de Snow
   • 2.3. Estabelecendo Causalidade
   • 2.4. Randomização
   • 2.5. Notas Finais
3. 3. Progamando em Python
   • 3.1. Expressões
   • 3.2. Nomes
     • 3.2.1. Exemplo: Taxas de Crescimento
   • 3.3. Chamadas
   • 3.4. Introdução às Tabelas
4. 4. Tipos de Dados
   • 4.1. Números
   • 4.2. Strings
     • 4.2.1. Métodos de Strings
   • 4.3. Comparações
5. 5. Sequências
   • 5.1. Arrays
   • 5.2. Ranges
   • 5.3. Mais sobre Arrays
6. 6. Tabelas
   • 6.1. Ordenando Linhas
   • 6.2. Selecionando Linhas
   • 6.3. Exemplo: Tendências Populacionais
   • 6.4. Examplo: Proporções de Sexos
7. 7. Visualização
   • 7.1. Visualizando Distribuições
     Categóricas
   • 7.2. Visualizando Distribuições Numéricas
   • 7.3. Gráficos Sobrepostos
8. 8. Funções e Tabelas
   • 8.1. Aplicando Função a uma Coluna
   • 8.2. Classificando por uma Variável
   • 8.3. Classificação Cruzada
   • 8.4. Unindo Tabelas por Colunas
   • 8.5. Compartilhamento de Bicicletas
9. 9. Aleatoriedade
   • 9.1. Declarações Condicionais
   • 9.2. Iteração
   • 9.3. Simulação
   • 9.4. O Problema de Monty Hall
   • 9.5. Encontrando Probabilidades
10. 10. Amostragem e Distribuições Empíricas
    • 10.1. Distribuições Empíricas
    • 10.2. Amostragem de uma População
    • 10.3. Distribuição Empírica de uma
      Estatística
    • 10.4. Amostragem Aleatória em Python
11. 11. Testando Hipóteses
    • 11.1. Avaliando um Modelo
    • 11.2. Múltiplas Categorias
    • 11.3. Decisões e Incertezas
    • 11.4. Probabilidades de Erro
12. 12. Comparando Duas Amostras
    • 12.1. Teste A/B
    • 12.2. Causalidade
    • 12.3. Esvaziar
13. 13. Estimação
    • 13.1. Percentis
    • 13.2. O Bootstrap
    • 13.3. Intervalos de Confiança
    • 13.4. Usando Intervalos de Confiança
14. 14. Por que a Média é Importante
    • 14.1. Propriedades da Média
    • 14.2. Variabilidade
    • 14.3. O DP e a Curva Normal
    • 14.4. Teorema Central do Limite
    • 14.5. Variabilidade da Média da Amostra
    • 14.6. Escolhendo um Tamanho de Amostra
15. 15. Previsão
    • 15.1. Correlação
    • 15.2. Linha de Regressão
    • 15.3. Método dos Mínimos Quadrados
    • 15.4. Regressão de Mínimos Quadrados
    • 15.5. Diagnósticos Visuais
    • 15.6. Diagnóstico Numérico

from datascience import *
%matplotlib inline
path_data = '../../assets/data/'
import matplotlib.pyplot as plt
plt.style.use('fivethirtyeight')
import numpy as np

Estimação

No capítulo anterior, começamos a desenvolver maneiras de pensar inferencialmente. Em particular, aprendemos como usar dados para decidir entre duas hipóteses sobre o mundo. Mas muitas vezes queremos apenas saber o quão grande é algo.

Por exemplo, em um capítulo anterior investigamos quantos aviões de guerra o inimigo poderia ter. Em um ano de eleição, podemos querer saber qual percentual de eleitores favorece um candidato específico. Para avaliar a economia atual, podemos estar interessados na renda anual mediana dos domicílios nos Estados Unidos.

Neste capítulo, desenvolveremos uma maneira de estimar um parâmetro desconhecido. Lembre-se de que um parâmetro é um valor numérico associado a uma população.

Para descobrir o valor de um parâmetro, precisamos de dados. Se tivermos os dados relevantes para toda a população, podemos simplesmente calcular o parâmetro.

Mas se a população for muito grande – por exemplo, se consistir em todos os domicílios nos Estados Unidos – pode ser muito caro e demorado reunir dados de toda a população. Nessas situações, os cientistas de dados dependem da amostragem aleatória da população.

Isso leva a uma questão de inferência: Como fazer conclusões justificáveis sobre o parâmetro desconhecido, com base nos dados da amostra aleatória? Responderemos a essa pergunta usando o pensamento inferencial.

Uma estatística baseada em uma amostra aleatória pode ser uma estimativa razoável de um parâmetro desconhecido na população. Por exemplo, você pode querer usar a renda anual mediana dos domicílios amostrados como uma estimativa da renda anual mediana de todos os domicílios nos EUA.

Mas o valor de qualquer estatística depende da amostra, e a amostra é baseada em seleções aleatórias. Portanto, sempre que os cientistas de dados criam uma estimativa baseada em uma amostra aleatória, eles enfrentam uma pergunta:

“Quão diferente poderia ter sido essa estimativa, se a amostra tivesse sido diferente?”

Neste capítulo, você aprenderá uma maneira de responder a essa pergunta. A resposta lhe dará as ferramentas para estimar um parâmetro numérico e quantificar a quantidade de erro em sua estimativa.

Começaremos com uma preliminar sobre percentis. O percentil mais famoso é a mediana, frequentemente usada em resumos de dados de renda. Outros percentis serão importantes no método de estimativa que estamos prestes a desenvolver. Portanto, começaremos definindo percentis com cuidado.