Índice

1. 1. O que é Ciência de Dados?
   • 1.1. Introdução
     • 1.1.1. Ferramentas Computacionais
     • 1.1.2. Técnicas Estatísticas
   • 1.2. Por que Ciência de Dados?
   • 1.3. Traçando os Clássicos
     • 1.3.1. Personagens Literários
     • 1.3.2. Outro Tipo de Personagem
2. 2. Causalidade e Experimentos
   • 2.1. John Snow e a Bomba da Broad Street
   • 2.2. O “Grande Experimento” de Snow
   • 2.3. Estabelecendo Causalidade
   • 2.4. Randomização
   • 2.5. Notas Finais
3. 3. Progamando em Python
   • 3.1. Expressões
   • 3.2. Nomes
     • 3.2.1. Exemplo: Taxas de Crescimento
   • 3.3. Chamadas
   • 3.4. Introdução às Tabelas
4. 4. Tipos de Dados
   • 4.1. Números
   • 4.2. Strings
     • 4.2.1. Métodos de Strings
   • 4.3. Comparações
5. 5. Sequências
   • 5.1. Arrays
   • 5.2. Ranges
   • 5.3. Mais sobre Arrays
6. 6. Tabelas
   • 6.1. Ordenando Linhas
   • 6.2. Selecionando Linhas
   • 6.3. Exemplo: Tendências Populacionais
   • 6.4. Examplo: Proporções de Sexos
7. 7. Visualização
   • 7.1. Visualizando Distribuições
     Categóricas
   • 7.2. Visualizando Distribuições Numéricas
   • 7.3. Gráficos Sobrepostos
8. 8. Funções e Tabelas
   • 8.1. Aplicando Função a uma Coluna
   • 8.2. Classificando por uma Variável
   • 8.3. Classificação Cruzada
   • 8.4. Unindo Tabelas por Colunas
   • 8.5. Compartilhamento de Bicicletas
9. 9. Aleatoriedade
   • 9.1. Declarações Condicionais
   • 9.2. Iteração
   • 9.3. Simulação
   • 9.4. O Problema de Monty Hall
   • 9.5. Encontrando Probabilidades
10. 10. Amostragem e Distribuições Empíricas
    • 10.1. Distribuições Empíricas
    • 10.2. Amostragem de uma População
    • 10.3. Distribuição Empírica de uma
      Estatística
    • 10.4. Amostragem Aleatória em Python
11. 11. Testando Hipóteses
    • 11.1. Avaliando um Modelo
    • 11.2. Múltiplas Categorias
    • 11.3. Decisões e Incertezas
    • 11.4. Probabilidades de Erro
12. 12. Comparando Duas Amostras
    • 12.1. Teste A/B
    • 12.2. Causalidade
    • 12.3. Esvaziar
13. 13. Estimação
    • 13.1. Percentis
    • 13.2. O Bootstrap
    • 13.3. Intervalos de Confiança
    • 13.4. Usando Intervalos de Confiança
14. 14. Por que a Média é Importante
    • 14.1. Propriedades da Média
    • 14.2. Variabilidade
    • 14.3. O DP e a Curva Normal
    • 14.4. Teorema Central do Limite
    • 14.5. Variabilidade da Média da Amostra
    • 14.6. Escolhendo um Tamanho de Amostra
15. 15. Previsão
    • 15.1. Correlação
    • 15.2. Linha de Regressão
    • 15.3. Método dos Mínimos Quadrados
    • 15.4. Regressão de Mínimos Quadrados
    • 15.5. Diagnósticos Visuais
    • 15.6. Diagnóstico Numérico

Bibliotecas necessárias:

from datascience import *
from datascience.predicates import are
path_data = '../../../../data/'
import numpy as np
import matplotlib
matplotlib.use('Agg')
%matplotlib inline
import matplotlib.pyplot as plots
plots.style.use('fivethirtyeight')
import warnings
warnings.simplefilter(action="ignore", category=FutureWarning)

from urllib.request import urlopen
import re
def read_url(url):
    return re.sub('\\s+', ' ', urlopen(url).read().decode())

Traçando os Clássicos

Neste exemplo, exploraremos estatísticas de dois romances clássicos: As Aventuras de Huckleberry Finn, de Mark Twain, e Pequenas Mulheres, de Louisa May Alcott. O texto de qualquer livro pode ser lido por um computador em grande velocidade. Os livros publicados antes de 1923 são atualmente de domínio público, o que significa que todos têm o direito de copiar ou utilizar o texto de qualquer forma. Project Gutenberg é um site que publica livros online de domínio público. Usando Python, podemos carregar o texto desses livros diretamente da web.

Este exemplo pretende ilustrar alguns dos temas gerais deste texto. Não se preocupe se os detalhes do programa ainda não fizerem sentido. Em vez disso, concentre-se na interpretação das imagens geradas abaixo. As seções posteriores do texto descreverão a maioria dos recursos da linguagem de programação Python usada abaixo.

Primeiro, lemos o texto de ambos os livros em listas de capítulos, chamados huck_finn_chapters e little_women_chapters. Em Python, um nome não pode conter espaços e, portanto, frequentemente usaremos um sublinhado _ para substituir um espaço. O = nas linhas abaixo dão um nome à esquerda ao resultado de algum cálculo descrito à direita. Um localizador uniforme de recursos ou URL é um endereço na Internet para algum conteúdo; neste caso, o texto de um livro. O # símbolo inicia um comentário, que é ignorado pelo computador, mas útil para quem lê o código.

# Leia dois livros, rápido!

huck_finn_url = 'https://www.inferentialthinking.com/data/huck_finn.txt'
huck_finn_text = read_url(huck_finn_url)
huck_finn_chapters = huck_finn_text.split('CHAPTER ')[44:]

little_women_url = 'https://www.inferentialthinking.com/data/little_women.txt'
little_women_text = read_url(little_women_url)
little_women_chapters = little_women_text.split('CHAPTER ')[1:]

Embora um computador não consiga compreender o texto de um livro, ele pode nos fornecer algumas informações sobre a estrutura do texto. O nome huck_finn_chapters está atualmente vinculado a uma lista de todos os capítulos do livro. Podemos colocá-los em uma tabela para ver como cada capítulo começa.

# Exiba os capítulos de Huckleberry Finn em uma tabela.

Table().with_column('Chapters', huck_finn_chapters)

Cada capítulo começa com um número de capítulo em algarismos romanos, seguido pela primeira frase do capítulo. O Projeto Gutenberg imprimiu a primeira palavra de cada capítulo em maiúsculas.