Índice

1. 1. O que é Ciência de Dados?
   • 1.1. Introdução
     • 1.1.1. Ferramentas Computacionais
     • 1.1.2. Técnicas Estatísticas
   • 1.2. Por que Ciência de Dados?
   • 1.3. Traçando os Clássicos
     • 1.3.1. Personagens Literários
     • 1.3.2. Outro Tipo de Personagem
2. 2. Causalidade e Experimentos
   • 2.1. John Snow e a Bomba da Broad Street
   • 2.2. O “Grande Experimento” de Snow
   • 2.3. Estabelecendo Causalidade
   • 2.4. Randomização
   • 2.5. Notas Finais
3. 3. Progamando em Python
   • 3.1. Expressões
   • 3.2. Nomes
     • 3.2.1. Exemplo: Taxas de Crescimento
   • 3.3. Chamadas
   • 3.4. Introdução às Tabelas
4. 4. Tipos de Dados
   • 4.1. Números
   • 4.2. Strings
     • 4.2.1. Métodos de Strings
   • 4.3. Comparações
5. 5. Sequências
   • 5.1. Arrays
   • 5.2. Ranges
   • 5.3. Mais sobre Arrays
6. 6. Tabelas
   • 6.1. Ordenando Linhas
   • 6.2. Selecionando Linhas
   • 6.3. Exemplo: Tendências Populacionais
   • 6.4. Examplo: Proporções de Sexos
7. 7. Visualização
   • 7.1. Visualizando Distribuições
     Categóricas
   • 7.2. Visualizando Distribuições Numéricas
   • 7.3. Gráficos Sobrepostos
8. 8. Funções e Tabelas
   • 8.1. Aplicando Função a uma Coluna
   • 8.2. Classificando por uma Variável
   • 8.3. Classificação Cruzada
   • 8.4. Unindo Tabelas por Colunas
   • 8.5. Compartilhamento de Bicicletas
9. 9. Aleatoriedade
   • 9.1. Declarações Condicionais
   • 9.2. Iteração
   • 9.3. Simulação
   • 9.4. O Problema de Monty Hall
   • 9.5. Encontrando Probabilidades
10. 10. Amostragem e Distribuições Empíricas
    • 10.1. Distribuições Empíricas
    • 10.2. Amostragem de uma População
    • 10.3. Distribuição Empírica de uma
      Estatística
    • 10.4. Amostragem Aleatória em Python
11. 11. Testando Hipóteses
    • 11.1. Avaliando um Modelo
    • 11.2. Múltiplas Categorias
    • 11.3. Decisões e Incertezas
    • 11.4. Probabilidades de Erro
12. 12. Comparando Duas Amostras
    • 12.1. Teste A/B
    • 12.2. Causalidade
    • 12.3. Esvaziar
13. 13. Estimação
    • 13.1. Percentis
    • 13.2. O Bootstrap
    • 13.3. Intervalos de Confiança
    • 13.4. Usando Intervalos de Confiança
14. 14. Por que a Média é Importante
    • 14.1. Propriedades da Média
    • 14.2. Variabilidade
    • 14.3. O DP e a Curva Normal
    • 14.4. Teorema Central do Limite
    • 14.5. Variabilidade da Média da Amostra
    • 14.6. Escolhendo um Tamanho de Amostra
15. 15. Previsão
    • 15.1. Correlação
    • 15.2. Linha de Regressão
    • 15.3. Método dos Mínimos Quadrados
    • 15.4. Regressão de Mínimos Quadrados
    • 15.5. Diagnósticos Visuais
    • 15.6. Diagnóstico Numérico

from datascience import *
import numpy as np
path_data = '../../../assets/data/'

Mais sobre Arrays

Muitas vezes, é necessário calcular algo que envolve dados de mais de um array. Se dois arrays têm o mesmo tamanho, o Python facilita a realização de cálculos envolvendo ambos os arrays.

Para o nosso primeiro exemplo, voltamos mais uma vez aos dados de temperatura. Desta vez, criamos arrays de médias diárias de temperaturas máximas e mínimas para as décadas em torno de 1850, 1900, 1950 e 2000.

baseline_high = 14.48
highs = make_array(baseline_high - 0.880,
                   baseline_high - 0.093,
                   baseline_high + 0.105,
                   baseline_high + 0.684)
highs

baseline_low = 3.00
lows = make_array(baseline_low - 0.872, baseline_low - 0.629,
                  baseline_low - 0.126, baseline_low + 0.728)
lows

Suponha que gostaríamos de calcular a média diária de alcance de temperaturas para cada década. Ou seja, queremos subtrair a média diária de alta nos anos 1850 da média diária de baixa nos anos 1850, e o mesmo para cada outra década.

Poderíamos escrever isso laboriosamente usando .item:

make_array(
    highs.item(0) - lows.item(0),
    highs.item(1) - lows.item(1),
    highs.item(2) - lows.item(2),
    highs.item(3) - lows.item(3)
)

Como quando convertemos um array de temperaturas de Celsius para Fahrenheit, o Python fornece uma maneira muito mais limpa de escrever isso:

highs - lows

O que vimos nesses exemplos são casos especiais de uma característica geral dos arrays.

Aritmética elemento a elemento em pares de arrays numéricos

Se um operador aritmético age sobre dois arrays do mesmo tamanho, então a operação é realizada em cada par correspondente de elementos nos dois arrays. O resultado final é um array.

Por exemplo, se array1 e array2 têm o mesmo número de elementos, então o valor de array1 * array2 é um array. Seu primeiro elemento é o primeiro elemento de array1 vezes o primeiro elemento de array2, seu segundo elemento é o segundo elemento de array1 vezes o segundo elemento de array2, e assim por diante.

Exemplo: Fórmula de Wallis para π

O número π é importante em muitas áreas diferentes da matemática. Séculos antes que os computadores fossem inventados, os matemáticos trabalhavam para encontrar maneiras simples de aproximar o valor numérico de π. Já vimos a fórmula de Leibniz para π. Cerca de meio século antes de Leibniz, o matemático inglês John Wallis (1616-1703) também expressou π em termos de frações simples, como um produto
infinito.

Este é um produto de frações “par/impar”. Vamos usar arrays para multiplicar um milhão delas e ver se o produto está próximo de π.

Lembre-se de que a multiplicação pode ser feita em qualquer ordem [1], então podemos ajustar nosso cálculo para:

Agora estamos prontos para fazer o cálculo. Começamos criando um array de números pares 2, 4, 6, e assim por diante até 1,000,000. Em seguida, criamos duas listas de números ímpares: 1, 3, 5, 7, … até 999,999, e 3, 5, 7, … até 1,000,001.

even = np.arange(2, 1000001, 2)
one_below_even = even - 1
one_above_even = even + 1

Lembre-se de que np.prod multiplica todos os elementos de um array juntos. Agora podemos calcular o produto de Wallis, para uma boa aproximação.

2 * np.prod(even/one_below_even) * np.prod(even/one_above_even)

Isso é π corrigido para cinco casas decimais. Wallis claramente criou uma grande fórmula.

Notas de rodapé

[1] Como vimos no exemplo sobre a fórmula de Leibniz, quando adicionamos infinitamente muitas frações, a ordem pode importar. O mesmo acontece com a multiplicação de frações, como estamos fazendo aqui. Mas nossa aproximação para π usa apenas um grande número finito de frações, então está tudo bem multiplicar os termos em qualquer ordem conveniente.