Índice

1. 1. O que é Ciência de Dados?
   • 1.1. Introdução
     • 1.1.1. Ferramentas Computacionais
     • 1.1.2. Técnicas Estatísticas
   • 1.2. Por que Ciência de Dados?
   • 1.3. Traçando os Clássicos
     • 1.3.1. Personagens Literários
     • 1.3.2. Outro Tipo de Personagem
2. 2. Causalidade e Experimentos
   • 2.1. John Snow e a Bomba da Broad Street
   • 2.2. O “Grande Experimento” de Snow
   • 2.3. Estabelecendo Causalidade
   • 2.4. Randomização
   • 2.5. Notas Finais
3. 3. Progamando em Python
   • 3.1. Expressões
   • 3.2. Nomes
     • 3.2.1. Exemplo: Taxas de Crescimento
   • 3.3. Chamadas
   • 3.4. Introdução às Tabelas
4. 4. Tipos de Dados
   • 4.1. Números
   • 4.2. Strings
     • 4.2.1. Métodos de Strings
   • 4.3. Comparações
5. 5. Sequências
   • 5.1. Arrays
   • 5.2. Ranges
   • 5.3. Mais sobre Arrays
6. 6. Tabelas
   • 6.1. Ordenando Linhas
   • 6.2. Selecionando Linhas
   • 6.3. Exemplo: Tendências Populacionais
   • 6.4. Examplo: Proporções de Sexos
7. 7. Visualização
   • 7.1. Visualizando Distribuições
     Categóricas
   • 7.2. Visualizando Distribuições Numéricas
   • 7.3. Gráficos Sobrepostos
8. 8. Funções e Tabelas
   • 8.1. Aplicando Função a uma Coluna
   • 8.2. Classificando por uma Variável
   • 8.3. Classificação Cruzada
   • 8.4. Unindo Tabelas por Colunas
   • 8.5. Compartilhamento de Bicicletas
9. 9. Aleatoriedade
   • 9.1. Declarações Condicionais
   • 9.2. Iteração
   • 9.3. Simulação
   • 9.4. O Problema de Monty Hall
   • 9.5. Encontrando Probabilidades
10. 10. Amostragem e Distribuições Empíricas
    • 10.1. Distribuições Empíricas
    • 10.2. Amostragem de uma População
    • 10.3. Distribuição Empírica de uma
      Estatística
    • 10.4. Amostragem Aleatória em Python
11. 11. Testando Hipóteses
    • 11.1. Avaliando um Modelo
    • 11.2. Múltiplas Categorias
    • 11.3. Decisões e Incertezas
    • 11.4. Probabilidades de Erro
12. 12. Comparando Duas Amostras
    • 12.1. Teste A/B
    • 12.2. Causalidade
    • 12.3. Esvaziar
13. 13. Estimação
    • 13.1. Percentis
    • 13.2. O Bootstrap
    • 13.3. Intervalos de Confiança
    • 13.4. Usando Intervalos de Confiança
14. 14. Por que a Média é Importante
    • 14.1. Propriedades da Média
    • 14.2. Variabilidade
    • 14.3. O DP e a Curva Normal
    • 14.4. Teorema Central do Limite
    • 14.5. Variabilidade da Média da Amostra
    • 14.6. Escolhendo um Tamanho de Amostra
15. 15. Previsão
    • 15.1. Correlação
    • 15.2. Linha de Regressão
    • 15.3. Método dos Mínimos Quadrados
    • 15.4. Regressão de Mínimos Quadrados
    • 15.5. Diagnósticos Visuais
    • 15.6. Diagnóstico Numérico

from datascience import *
import numpy as np
path_data = '../../../assets/data/'
np.set_printoptions(threshold=50)

Exemplo: Tendências Populacionais

Agora estamos prontos para trabalhar com grandes tabelas de dados. O arquivo abaixo contém “Estimativas anuais da população residente por ano único de idade e sexo para os Estados Unidos.” Observe que read_table pode ler dados diretamente de um URL.

# A partir de agosto de 2021, este arquivo do censo está online aqui:
data = 'http://www2.census.gov/programs-surveys/popest/technical-documentation/file-layouts/2010-2019/nc-est2019-agesex-res.csv'

# Uma cópia local pode ser acessada aqui caso o census.gov mova o arquivo:
# data = path_data + 'nc-est2019-agesex-res.csv'

full_census_table = Table.read_table(data)
full_census_table

Apenas as 10 primeiras linhas da tabela são exibidas. Mais tarde, veremos como exibir a tabela inteira; no entanto, isso geralmente não é útil com tabelas grandes.

Uma descrição da tabela está disponível online.

A coluna SEX contém códigos numéricos: 0 representa o total, 1 para masculino e 2 para feminino. As suposições subjacentes a essa categorização binária são questionáveis. Discutiremos isso na próxima seção.

Nesta seção, nos concentraremos na idade e no tamanho da população.

A coluna AGE contém idades em anos completos, mas o valor especial 999 é a soma da população total. A “idade” 100 também tem um status especial. Nessa categoria, o Census Bureau inclui todas as pessoas com 100 anos ou mais.

As outras colunas contêm estimativas da população dos EUA em cada categoria de sexo e idade nos anos de 2010 a 2019. O Censo é decenal: ocorre a cada 10 anos. O Censo mais recente foi realizado em 2020 e o anterior em 2010. O Census Bureau também estima mudanças na população a cada ano. Conforme explicado na descrição da metodologia do Bureau aqui, ele “adiciona [as mudanças estimadas] ao último censo decenal para produzir estimativas de população atualizadas a cada ano.”

Tipicamente, uma tabela de acesso público conterá mais informações do que o necessário para uma investigação ou análise específica. Para tornar a tabela grande mais utilizável, precisamos fazer alguma limpeza de dados.

Suponha que estamos interessados apenas nas mudanças populacionais de 2014 a 2019. Vamos select as colunas relevantes.

partial_census_table = full_census_table.select('SEX', 'AGE', 'POPESTIMATE2014', 'POPESTIMATE2019')
partial_census_table

Podemos simplificar os rótulos das colunas selecionadas.

us_pop = partial_census_table.relabeled('POPESTIMATE2014', '2014').relabeled('POPESTIMATE2019', '2019')
us_pop

Idades 97-100

Como aquecimento, vamos examinar a população total, rotulada pelo código SEX 0. Como todas essas linhas terão o mesmo valor 0 na coluna SEX, eliminaremos essa coluna.

us_pop_by_age = us_pop.where('SEX', are.equal_to(0)).drop('SEX')
us_pop_by_age

Agora vamos olhar para a população nas idades mais avançadas.

us_pop_by_age.where('AGE', are.between(97, 101))

Como era de se esperar, o número de pessoas em idades mais avançadas é menor. Por exemplo, há menos pessoas de 99 anos do que de 98 anos.

Mas os números para a idade AGE 100 são bastante maiores do que aqueles para a idade 99. Isso ocorre porque a linha com AGE 100 não representa apenas pessoas de 100 anos. Também inclui aquelas que têm mais de 100 anos.

Mudança Percentual

Cada coluna da tabela us_pop_by_age é uma matriz do mesmo comprimento, e assim as colunas podem ser combinadas usando aritmética. A matriz abaixo contém a mudança na população entre 2014 e 2019. Há uma entrada correspondente a cada linha de us_pop_by_age.

change = us_pop_by_age.column('2019') - us_pop_by_age.column('2014')
change

Podemos aumentar us_pop_by_age com uma coluna que contenha essas mudanças, tanto em termos absolutos quanto como porcentagens relativas ao valor em 2014.

us_pop_change = us_pop_by_age.with_columns(
    'Change', change,
    'Percent Change', change/us_pop_by_age.column('2014')
)
us_pop_change.set_format('Percent Change', PercentFormatter)

Quase todas as entradas exibidas na coluna Percent Change são negativas, demonstrando uma queda na população nas faixas etárias mais jovens. No entanto, a população total cresceu em cerca de 9,9 milhões de pessoas, um aumento percentual de pouco mais de 3%.

us_pop_change.where('AGE', are.equal_to(999))

Vamos comparar isso com a mudança em cada idade. Para facilitar a interpretação, ordenaremos a tabela em ordem decrescente da mudança absoluta na população, contida na coluna CHANGE.

us_pop_change.where(
    'AGE', are.below(999)
).sort('Change', descending=True)

Dê uma olhada nas primeiras linhas. Enquanto a mudança percentual é cerca de 3% para a população geral, ela salta para bem mais de 20% para as pessoas em seus finais dos sessenta e início dos setenta anos. Essa mudança impressionante contribui para o que é conhecido como o envelhecimento da América.

O que poderia explicar esse grande aumento? Podemos explorar essa questão examinando os anos em que os grupos relevantes nasceram.

• Aqueles que estavam na faixa etária de 69 a 72 anos em 2014 nasceram nos anos de 1942 a 1945. O ataque a Pearl Harbor ocorreu no final de 1941 e, em 1942, as forças dos EUA estavam fortemente envolvidas em uma guerra massiva que terminou em 1945.
• Aqueles que tinham de 69 a 72 anos em 2019 nasceram nos anos de 1947 a 1950, no auge do baby boom do pós-Segunda Guerra Mundial nos Estados Unidos.

O salto pós-guerra nos nascimentos é uma das principais razões para as grandes mudanças que observamos.