Índice

1. 1. O que é Ciência de Dados?
   • 1.1. Introdução
     • 1.1.1. Ferramentas Computacionais
     • 1.1.2. Técnicas Estatísticas
   • 1.2. Por que Ciência de Dados?
   • 1.3. Traçando os Clássicos
     • 1.3.1. Personagens Literários
     • 1.3.2. Outro Tipo de Personagem
2. 2. Causalidade e Experimentos
   • 2.1. John Snow e a Bomba da Broad Street
   • 2.2. O “Grande Experimento” de Snow
   • 2.3. Estabelecendo Causalidade
   • 2.4. Randomização
   • 2.5. Notas Finais
3. 3. Progamando em Python
   • 3.1. Expressões
   • 3.2. Nomes
     • 3.2.1. Exemplo: Taxas de Crescimento
   • 3.3. Chamadas
   • 3.4. Introdução às Tabelas
4. 4. Tipos de Dados
   • 4.1. Números
   • 4.2. Strings
     • 4.2.1. Métodos de Strings
   • 4.3. Comparações
5. 5. Sequências
   • 5.1. Arrays
   • 5.2. Ranges
   • 5.3. Mais sobre Arrays
6. 6. Tabelas
   • 6.1. Ordenando Linhas
   • 6.2. Selecionando Linhas
   • 6.3. Exemplo: Tendências Populacionais
   • 6.4. Examplo: Proporções de Sexos
7. 7. Visualização
   • 7.1. Visualizando Distribuições
     Categóricas
   • 7.2. Visualizando Distribuições Numéricas
   • 7.3. Gráficos Sobrepostos
8. 8. Funções e Tabelas
   • 8.1. Aplicando Função a uma Coluna
   • 8.2. Classificando por uma Variável
   • 8.3. Classificação Cruzada
   • 8.4. Unindo Tabelas por Colunas
   • 8.5. Compartilhamento de Bicicletas
9. 9. Aleatoriedade
   • 9.1. Declarações Condicionais
   • 9.2. Iteração
   • 9.3. Simulação
   • 9.4. O Problema de Monty Hall
   • 9.5. Encontrando Probabilidades
10. 10. Amostragem e Distribuições Empíricas
    • 10.1. Distribuições Empíricas
    • 10.2. Amostragem de uma População
    • 10.3. Distribuição Empírica de uma
      Estatística
    • 10.4. Amostragem Aleatória em Python
11. 11. Testando Hipóteses
    • 11.1. Avaliando um Modelo
    • 11.2. Múltiplas Categorias
    • 11.3. Decisões e Incertezas
    • 11.4. Probabilidades de Erro
12. 12. Comparando Duas Amostras
    • 12.1. Teste A/B
    • 12.2. Causalidade
    • 12.3. Esvaziar
13. 13. Estimação
    • 13.1. Percentis
    • 13.2. O Bootstrap
    • 13.3. Intervalos de Confiança
    • 13.4. Usando Intervalos de Confiança
14. 14. Por que a Média é Importante
    • 14.1. Propriedades da Média
    • 14.2. Variabilidade
    • 14.3. O DP e a Curva Normal
    • 14.4. Teorema Central do Limite
    • 14.5. Variabilidade da Média da Amostra
    • 14.6. Escolhendo um Tamanho de Amostra
15. 15. Previsão
    • 15.1. Correlação
    • 15.2. Linha de Regressão
    • 15.3. Método dos Mínimos Quadrados
    • 15.4. Regressão de Mínimos Quadrados
    • 15.5. Diagnósticos Visuais
    • 15.6. Diagnóstico Numérico

from datascience import *
path_data = '../../../assets/data/'
import matplotlib
matplotlib.use('Agg')
%matplotlib inline
import matplotlib.pyplot as plots
plots.style.use('fivethirtyeight')
import numpy as np

Amostragem Aleatória em Python

Esta seção resume as formas que você aprendeu para amostrar aleatoriamente usando Python e introduz uma nova forma.

Revisão: Amostragem de uma População em uma Tabela

Se você está amostrando de uma população cujos dados são representados nas linhas de uma tabela, então você pode usar o método sample da tabela para selecionar aleatoriamente as linhas da tabela. Ou seja, você pode usar sample para selecionar uma amostra aleatória de indivíduos.

Por padrão, sample realiza a amostragem aleatória com reposição de forma uniforme. Este é um modelo natural para experimentos de chance, como rolar um dado.

faces = np.arange(1, 7)
die = Table().with_columns('Face', faces)
die

Execute a célula abaixo para simular 7 jogadas de um dado.

die.sample(7)

Às vezes é mais natural amostrar indivíduos aleatoriamente sem reposição. Isso é chamado de amostra aleatória simples. O argumento with_replacement=False permite que você faça isso.

actors = Table.read_table(path_data + 'actors.csv')
actors

# Amostra aleatória simples de 5 linhas
actors.sample(5, with_replacement=False)

Como amostra fornece a amostra inteira na ordem em que as linhas foram selecionadas, você pode usar métodos de tabela na tabela amostrada para responder a muitas perguntas sobre a amostra. Por exemplo, você pode encontrar o número de vezes que o dado apareceu seis spots, ou o número médio de filmes em que os atores da amostra apareceram, ou se dois atores especificados apareceram na amostra. Você pode precisar de várias linhas de código para obter algumas dessas informações.

Revisão: Amostragem de uma População em uma Matriz

Se você está amostrando de uma população de indivíduos cujos dados são representados como uma matriz, você pode usar a função do NumPy np.random.choice para selecionar aleatoriamente elementos da matriz.

Por padrão, np.random.choice amostra aleatoriamente com reposição.

# As faces de um dado, como um array
faces

# 7 rolagens do dado
np.random.choice(faces, 7)

O argumento replace=False permite obter uma amostra aleatória simples, ou seja, uma amostra sorteada aleatoriamente sem reposição.

# Array de nomes dos atores
actor_names = actors.column('Actor')

# Amostra simples dos nomes de 5 atores
np.random.choice(actor_names, 5, replace=False)

Assim como sample, np.random.choice também fornece toda a sequência de elementos amostrados. Você pode usar operações de array para responder a muitas perguntas sobre a amostra. Por exemplo, você pode descobrir qual ator foi o segundo a ser sorteado ou o número de faces do dado que apareceram mais de uma vez. Algumas respostas podem precisar de várias linhas de código.

Amostragem de uma Distribuição Categórica

Às vezes estamos interessados em um atributo categórico de nossos indivíduos amostrados. Por exemplo, podemos estar observando se uma moeda cai com cara ou coroa. Ou podemos estar interessados nos partidos políticos dos eleitores selecionados aleatoriamente.

Nesses casos, frequentemente precisamos das proporções de eleitores amostrados nas diferentes categorias. Se tivermos toda a amostra, podemos calcular essas proporções. A função sample_proportions na biblioteca datascience faz esse trabalho para nós. Ela é feita sob medida para amostragem aleatória com reposição a partir de uma distribuição categórica e retorna as proporções de elementos amostrados em cada categoria.

A função sample_proportions leva dois argumentos:

• o tamanho da amostra
• a distribuição das categorias na população, como uma lista ou matriz de proporções que somam 1

Ela retorna uma matriz contendo a distribuição das categorias em uma amostra aleatória do tamanho fornecido, retirada da população. Essa é uma matriz que consiste nas proporções da amostra em todas as diferentes categorias, na mesma ordem em que apareceram na distribuição da população.

Por exemplo, suponha que cada planta de uma espécie tenha flores vermelhas com chance de 25%, flores rosa com chance de 50% e flores brancas com chance de 25%, independentemente das cores das flores de todas as outras plantas. Você pode usar sample_proportions para ver as proporções das diferentes cores entre 300 plantas da espécie.

# Distribuição de espécies de cores de flores:
# As proporções estão na ordem Vermelho, Rosa, Branco
species_proportions = [0.25, 0.5, .25]

sample_size = 300

# Distribuição da amostra
sample_distribution = sample_proportions(sample_size, species_proportions)
sample_distribution

Como você espera, as proporções na amostra somam 1.

sum(sample_distribution)

As categorias em species_proportions estão na ordem Vermelho, Rosa, Branco. Essa ordem é preservada por sample_proportions. Se você quiser apenas a proporção de plantas com flores rosas na amostra, você pode usar item:

# Proporção de falores rosas
sample_distribution.item(1)

Você pode usar sample_proportions e operações de array para responder perguntas baseadas apenas nas proporções de indivíduos amostrados nas diferentes categorias. Você não poderá responder perguntas que exijam informações mais detalhadas sobre a amostra, como quais das plantas amostradas tinha cada uma das cores diferentes.