Índice

1. 1. O que é Ciência de Dados?
   • 1.1. Introdução
     • 1.1.1. Ferramentas Computacionais
     • 1.1.2. Técnicas Estatísticas
   • 1.2. Por que Ciência de Dados?
   • 1.3. Traçando os Clássicos
     • 1.3.1. Personagens Literários
     • 1.3.2. Outro Tipo de Personagem
2. 2. Causalidade e Experimentos
   • 2.1. John Snow e a Bomba da Broad Street
   • 2.2. O “Grande Experimento” de Snow
   • 2.3. Estabelecendo Causalidade
   • 2.4. Randomização
   • 2.5. Notas Finais
3. 3. Progamando em Python
   • 3.1. Expressões
   • 3.2. Nomes
     • 3.2.1. Exemplo: Taxas de Crescimento
   • 3.3. Chamadas
   • 3.4. Introdução às Tabelas
4. 4. Tipos de Dados
   • 4.1. Números
   • 4.2. Strings
     • 4.2.1. Métodos de Strings
   • 4.3. Comparações
5. 5. Sequências
   • 5.1. Arrays
   • 5.2. Ranges
   • 5.3. Mais sobre Arrays
6. 6. Tabelas
   • 6.1. Ordenando Linhas
   • 6.2. Selecionando Linhas
   • 6.3. Exemplo: Tendências Populacionais
   • 6.4. Examplo: Proporções de Sexos
7. 7. Visualização
   • 7.1. Visualizando Distribuições
     Categóricas
   • 7.2. Visualizando Distribuições Numéricas
   • 7.3. Gráficos Sobrepostos
8. 8. Funções e Tabelas
   • 8.1. Aplicando Função a uma Coluna
   • 8.2. Classificando por uma Variável
   • 8.3. Classificação Cruzada
   • 8.4. Unindo Tabelas por Colunas
   • 8.5. Compartilhamento de Bicicletas
9. 9. Aleatoriedade
   • 9.1. Declarações Condicionais
   • 9.2. Iteração
   • 9.3. Simulação
   • 9.4. O Problema de Monty Hall
   • 9.5. Encontrando Probabilidades
10. 10. Amostragem e Distribuições Empíricas
    • 10.1. Distribuições Empíricas
    • 10.2. Amostragem de uma População
    • 10.3. Distribuição Empírica de uma
      Estatística
    • 10.4. Amostragem Aleatória em Python
11. 11. Testando Hipóteses
    • 11.1. Avaliando um Modelo
    • 11.2. Múltiplas Categorias
    • 11.3. Decisões e Incertezas
    • 11.4. Probabilidades de Erro
12. 12. Comparando Duas Amostras
    • 12.1. Teste A/B
    • 12.2. Causalidade
    • 12.3. Esvaziar
13. 13. Estimação
    • 13.1. Percentis
    • 13.2. O Bootstrap
    • 13.3. Intervalos de Confiança
    • 13.4. Usando Intervalos de Confiança
14. 14. Por que a Média é Importante
    • 14.1. Propriedades da Média
    • 14.2. Variabilidade
    • 14.3. O DP e a Curva Normal
    • 14.4. Teorema Central do Limite
    • 14.5. Variabilidade da Média da Amostra
    • 14.6. Escolhendo um Tamanho de Amostra
15. 15. Previsão
    • 15.1. Correlação
    • 15.2. Linha de Regressão
    • 15.3. Método dos Mínimos Quadrados
    • 15.4. Regressão de Mínimos Quadrados
    • 15.5. Diagnósticos Visuais
    • 15.6. Diagnóstico Numérico

from datascience import *
import numpy as np
path_data = '../../../assets/data/'
%matplotlib inline
import matplotlib.pyplot as plots
plots.style.use('fivethirtyeight')

Gráficos Sobrepostos

Neste capítulo, aprendemos como visualizar dados desenhando gráficos. Um uso comum dessas visualizações é comparar dois conjuntos de dados. Nesta seção, veremos como sobrepor gráficos, ou seja, desenhá-los em um único gráfico em um par comum de eixos.

Para que a sobreposição faça sentido, os gráficos que estão sendo sobrepostos devem representar as mesmas variáveis e serem medidos nas mesmas unidades.

Para desenhar gráficos sobrepostos, os métodos scatter, plot e barh podem ser chamados da mesma maneira. Para scatter e plot, uma coluna deve servir como o eixo horizontal comum para todos os gráficos sobrepostos. Para barh, uma coluna deve servir como o eixo comum que é o conjunto de categorias. A chamada geral parece assim:

name_of_table.method(column_label_of_common_axis, array_of_labels_of_variables_to_plot)

Mais comumente, primeiro selecionaremos apenas as colunas necessárias para nosso gráfico e depois chamaremos o método especificando apenas a variável no eixo comum:

name_of_table.method(column_label_of_common_axis)

Gráficos de Dispersão Sobrepostos

A tabela sons_heights faz parte de um conjunto de dados históricos sobre as alturas de pais e seus filhos. Especificamente, a população consiste em 179 homens que foram os primeiros nascidos em suas famílias. Os dados são suas próprias alturas e as alturas de seus pais. Todas as alturas foram medidas em polegadas.

sons_heights = Table.read_table(path_data + 'sons_heights.csv')
sons_heights

O método scatter nos permite visualizar como as alturas dos filhos estão relacionadas às alturas de ambos os pais. No gráfico, as alturas dos filhos formarão o eixo horizontal comum.

sons_heights.scatter('son')

Repare como especificamos apenas a variável (alturas dos filhos) no eixo horizontal comum. O Python desenhou dois gráficos de dispersão: um para a relação entre essa variável e as outras duas.

Cada ponto representa uma linha da tabela, ou seja, um trio “pai, mãe, filho”. Para todos os pontos, o eixo horizontal representa a altura do filho. Nos pontos azuis, o eixo vertical representa a altura do pai. Nos pontos dourados, o eixo vertical representa as alturas da mãe.

Tanto o gráfico de dispersão em dourado quanto o azul têm inclinação para cima e mostram uma associação positiva entre as alturas dos filhos e as alturas de ambos os pais. O gráfico azul (dos pais) é geralmente mais alto que o dourado, porque os pais eram, em geral, mais altos que as mães.

Gráficos de linhas sobrepostas

O próximo exemplo envolve dados sobre crianças de tempos mais recentes. Voltaremos à tabela de dados do Censo us_pop, criada novamente abaixo para referência. A partir desta tabela, extrairemos a contagem de todas as crianças em cada uma das faixas etárias de 0 a 18 anos.

# Leia a tabela completa do Censo
data = 'http://www2.census.gov/programs-surveys/popest/technical-documentation/file-layouts/2010-2019/nc-est2019-agesex-res.csv'
full_census_table = Table.read_table(data)

# Selecione colunas da tabela completa e renomeie algumas delas
partial_census_table = full_census_table.select('SEX', 'AGE', 'POPESTIMATE2014', 'POPESTIMATE2019')
us_pop = partial_census_table.relabeled('POPESTIMATE2014', '2014').relabeled('POPESTIMATE2019', '2019')

# Acesse as linhas correspondentes a todas as crianças de 0 a 18 anos
children = us_pop.where('SEX', are.equal_to(0)).where('AGE', are.below(19)).drop('SEX')
children.show()

Podemos agora desenhar dois gráficos de linhas sobrepostas, mostrando o número de crianças nas diferentes faixas etárias para cada um dos anos de 2014 e 2019. A chamada é análoga à chamada de scatter no exemplo anterior.

children.plot('AGE')

Embora os rótulos do eixo horizontal incluam alguns números meio-inteiros, é importante lembrar que só temos dados nas idades de 0, 1, 2, e assim por diante. Os gráficos de linha “unem os pontos” entre eles.

Os dois gráficos se cruzam em alguns lugares. Por exemplo, houve mais crianças de 6 anos em 2014 do que em 2019, e houve mais crianças de 12 anos em 2019 do que em 2014.

É claro que as crianças de 12 anos em 2019 consistem principalmente nas crianças que tinham 7 anos em 2014. Para ver isso nos gráficos, compare o gráfico dourado na AGE 12 e o gráfico azul na AGE 7. Você perceberá que o gráfico dourado (2019) se parece muito com o gráfico azul (2014) deslocado para a direita em 5 anos. O deslocamento é acompanhado por um leve aumento devido ao efeito líquido das crianças que entraram no país entre 2014 e 2019 superando aquelas que saíram. Felizmente, nessas idades, não há muita perda de vida.

Gráficos de Barras

A Fundação Kaiser Family compilou dados do Censo sobre a distribuição de raça e etnia nos EUA. O site da Fundação fornece compilações de dados para toda a população dos EUA em 2019, bem como para crianças nos EUA que tinham menos de 18 anos naquele ano.

A tabela usa_ca é adaptada de seus dados para os Estados Unidos e Califórnia. As colunas representam todos nos EUA, todos na Califórnia, crianças nos EUA e crianças na Califórnia.

O corpo da tabela contém porcentagens nas diferentes categorias. Cada coluna mostra a distribuição da variável Ethnicity/Race no grupo de pessoas correspondente a essa coluna. Então em cada coluna, as entradas somam 100. A categoria API consiste em asiáticos e ilhéus do Pacífico, incluindo havaianos nativos. A categoria Other inclui nativos americanos, nativos do Alasca e pessoas que se identificam com múltiplas raças.

usa_ca = Table.read_table(path_data + 'usa_ca_2019.csv')
usa_ca

É natural querer comparar essas distribuições. Faz sentido comparar as colunas diretamente, porque todas as entradas são porcentagens e, portanto, estão na mesma escala.

O método barh nos permite visualizar as comparações desenhando vários gráficos de barras nos mesmos eixos. A chamada é análoga àquelas para scatter e plot: temos que especificar o eixo comum das categorias.

usa_ca.barh('Ethnicity/Race')

Embora desenhar os gráficos de barras sobrepostos seja direto, há informações em excesso neste gráfico para conseguirmos separar semelhanças e diferenças entre as populações. É muito mais fácil comparar as populações um par de cada vez.

Vamos começar comparando as populações inteiras dos EUA e da Califórnia.

usa_ca.select('Ethnicity/Race', 'USA All', 'CA All').barh('Ethnicity/Race')

As duas distribuições são bastante diferentes. A Califórnia tem porcentagens mais altas nas categorias API e Hispanic, e correspondentes porcentagens mais baixas nas categorias Black e White. As porcentagens na categoria Other são bastante semelhantes nas duas populações. As diferenças se devem em grande parte à localização geográfica da Califórnia e aos padrões de imigração e migração, tanto historicamente quanto nas últimas décadas.

Como você pode ver no gráfico, quase 40% da população da Califórnia em 2019 era Hispanic. Uma comparação com a população de crianças do estado indica que a proporção Hispanic provavelmente será maior nos próximos anos. Entre as crianças californianas em 2019, mais de 50% estavam na categoria Hispanic.

usa_ca.select('Ethnicity/Race', 'CA All', 'CA Children').barh('Ethnicity/Race')

Conjuntos de dados mais complexos naturalmente dão origem a visualizações variadas e interessantes, incluindo gráficos sobrepostos de diferentes tipos. Para analisar esses dados, é útil ter mais habilidades em manipulação de dados, para que possamos colocar os dados em uma forma que nos permita usar métodos como os desta seção. No próximo capítulo, desenvolveremos algumas dessas habilidades.