Índice

1. 1. O que é Ciência de Dados?
   • 1.1. Introdução
     • 1.1.1. Ferramentas Computacionais
     • 1.1.2. Técnicas Estatísticas
   • 1.2. Por que Ciência de Dados?
   • 1.3. Traçando os Clássicos
     • 1.3.1. Personagens Literários
     • 1.3.2. Outro Tipo de Personagem
2. 2. Causalidade e Experimentos
   • 2.1. John Snow e a Bomba da Broad Street
   • 2.2. O “Grande Experimento” de Snow
   • 2.3. Estabelecendo Causalidade
   • 2.4. Randomização
   • 2.5. Notas Finais
3. 3. Progamando em Python
   • 3.1. Expressões
   • 3.2. Nomes
     • 3.2.1. Exemplo: Taxas de Crescimento
   • 3.3. Chamadas
   • 3.4. Introdução às Tabelas
4. 4. Tipos de Dados
   • 4.1. Números
   • 4.2. Strings
     • 4.2.1. Métodos de Strings
   • 4.3. Comparações
5. 5. Sequências
   • 5.1. Arrays
   • 5.2. Ranges
   • 5.3. Mais sobre Arrays
6. 6. Tabelas
   • 6.1. Ordenando Linhas
   • 6.2. Selecionando Linhas
   • 6.3. Exemplo: Tendências Populacionais
   • 6.4. Examplo: Proporções de Sexos
7. 7. Visualização
   • 7.1. Visualizando Distribuições
     Categóricas
   • 7.2. Visualizando Distribuições Numéricas
   • 7.3. Gráficos Sobrepostos
8. 8. Funções e Tabelas
   • 8.1. Aplicando Função a uma Coluna
   • 8.2. Classificando por uma Variável
   • 8.3. Classificação Cruzada
   • 8.4. Unindo Tabelas por Colunas
   • 8.5. Compartilhamento de Bicicletas
9. 9. Aleatoriedade
   • 9.1. Declarações Condicionais
   • 9.2. Iteração
   • 9.3. Simulação
   • 9.4. O Problema de Monty Hall
   • 9.5. Encontrando Probabilidades
10. 10. Amostragem e Distribuições Empíricas
    • 10.1. Distribuições Empíricas
    • 10.2. Amostragem de uma População
    • 10.3. Distribuição Empírica de uma
      Estatística
    • 10.4. Amostragem Aleatória em Python
11. 11. Testando Hipóteses
    • 11.1. Avaliando um Modelo
    • 11.2. Múltiplas Categorias
    • 11.3. Decisões e Incertezas
    • 11.4. Probabilidades de Erro
12. 12. Comparando Duas Amostras
    • 12.1. Teste A/B
    • 12.2. Causalidade
    • 12.3. Esvaziar
13. 13. Estimação
    • 13.1. Percentis
    • 13.2. O Bootstrap
    • 13.3. Intervalos de Confiança
    • 13.4. Usando Intervalos de Confiança
14. 14. Por que a Média é Importante
    • 14.1. Propriedades da Média
    • 14.2. Variabilidade
    • 14.3. O DP e a Curva Normal
    • 14.4. Teorema Central do Limite
    • 14.5. Variabilidade da Média da Amostra
    • 14.6. Escolhendo um Tamanho de Amostra
15. 15. Previsão
    • 15.1. Correlação
    • 15.2. Linha de Regressão
    • 15.3. Método dos Mínimos Quadrados
    • 15.4. Regressão de Mínimos Quadrados
    • 15.5. Diagnósticos Visuais
    • 15.6. Diagnóstico Numérico

from datascience import *
%matplotlib inline
path_data = '../../../assets/data/'
import matplotlib.pyplot as plt
plt.style.use('fivethirtyeight')
import math
from scipy import stats
import numpy as np
import warnings
warnings.simplefilter(action='ignore', category=np.VisibleDeprecationWarning)

 

Compartilhamento de Bicicletas na Área da Baía

Concluímos este capítulo usando todos os métodos que aprendemos para examinar um conjunto de dados novo e grande. Também vamos apresentar o map_table, uma ferramenta de visualização poderosa.

O serviço de Bay Area Bike Share publicou um conjunto de dados descrevendo cada aluguel de bicicleta de setembro de 2014 a agosto de 2015 em seu sistema. Houve 354.152 aluguéis no total. As colunas são:

• Um ID para o aluguel
• Duração do aluguel, em segundos
• Data de início
• Nome da Estação de Início e código do Terminal de Início
• Nome da Estação de Fim e código do Terminal de Fim
• Um número serial para a bicicleta
• Tipo de assinante e código postal

trips = Table.read_table(path_data + 'trip.csv')
trips

 

Vamos nos concentrar apenas nas viagens gratuitas, que são viagens que duram menos de 1800 segundos (meia hora). Há uma cobrança para viagens mais longas.

O histograma abaixo mostra que a maioria das viagens durou cerca de 10 minutos (600 segundos) mais ou menos. Muito poucas duraram perto de 30 minutos (1800 segundos), possivelmente porque as pessoas tentam devolver as bicicletas antes do horário limite para não terem que pagar.

commute = trips.where('Duration', are.below(1800))
commute.hist('Duration', unit='Second')

 

Podemos obter mais detalhes especificando um número maior de caixas. Mas a forma geral não muda muito.

commute.hist('Duration', bins=60, unit='Second')

 

Explorando os dados com group e pivot

Podemos usar group para identificar a Estação Inicial mais usada:

starts = commute.group('Start Station').sort('count', descending=True)
starts

Start Station	count
San Francisco Caltrain (Townsend at 4th)	25858
San Francisco Caltrain 2 (330 Townsend)	21523
Harry Bridges Plaza (Ferry Building)	15543
Temporary Transbay Terminal (Howard at Beale)	14298
2nd at Townsend	13674
Townsend at 7th	13579
Steuart at Market	13215
Embarcadero at Sansome	12842
Market at 10th	11523
Market at Sansome	11023

 

O maior número de viagens começou na estação Caltrain em Townsend e na 4th em São Francisco. As pessoas pegam o trem para a cidade e depois usam uma bicicleta compartilhada para chegar ao próximo destino.

O método group também pode ser usado para classificar os aluguéis por estação inicial e estação final.

commute.group(['Start Station', 'End Station'])

Start Station	End Station	count
2nd at Folsom	2nd at Folsom	54
2nd at Folsom	2nd at South Park	295
2nd at Folsom	2nd at Townsend	437
2nd at Folsom	5th at Howard	113
2nd at Folsom	Beale at Market	127
2nd at Folsom	Broadway St at Battery St	67
2nd at Folsom	Civic Center BART (7th at Market)	47
2nd at Folsom	Clay at Battery	240
2nd at Folsom	Commercial at Montgomery	128
2nd at Folsom	Davis at Jackson	28

 

Cinquenta e quatro viagens começaram e terminaram na estação na 2ª com Folsom. Um número muito maior (437) foi entre a 2ª com Folsom e a 2ª com Townsend.

O método pivot faz a mesma classificação, mas exibe seus resultados em uma tabela de contingência que mostra todas as combinações possíveis de Estações de Início e Fim, mesmo que algumas delas não correspondam a nenhuma viagem. Lembre-se de que o primeiro argumento de uma declaração pivot especifica os rótulos das colunas da tabela pivot; o segundo argumento rotula as linhas.

Há uma estação de trem, bem como uma estação do Bay Area Rapid Transit (BART), perto de Beale na Market, explicando o alto número de viagens que começam e terminam lá.

commute.pivot('Start Station', 'End Station')

 

Também podemos usar pivot para encontrar o menor tempo de viagem entre as estações inicial e final. Aqui pivot recebeu Duration como o argumento opcional de values e min como a função a ser executada nos valores em cada célula.

commute.pivot('Start Station', 'End Station', 'Duration', min)

 

Alguém fez uma viagem muito rápida (271 segundos, ou cerca de 4,5 minutos) de Beale em Market até a 2nd em Folsom, a cerca de cinco quarteirões de distância. Não há viagens de bicicleta entre as estações da 2nd Avenue e Adobe em Almaden, porque esta última fica em uma cidade diferente.

Desenhando Mapas

A tabela stations contém informações geográficas sobre cada estação de bicicleta, incluindo latitude, longitude e um “ponto de referência” que é o nome da cidade onde a estação está localizada.

stations = Table.read_table(path_data + 'station.csv')
stations

station_id	name	lat	long	dockcount	landmark	installation
2	San Jose Diridon Caltrain Station	37.3297	-121.902	27	San Jose	8/6/2013
3	San Jose Civic Center	37.3307	-121.889	15	San Jose	8/5/2013
4	Santa Clara at Almaden	37.334	-121.895	11	San Jose	8/6/2013
5	Adobe on Almaden	37.3314	-121.893	19	San Jose	8/5/2013
6	San Pedro Square	37.3367	-121.894	15	San Jose	8/7/2013
7	Paseo de San Antonio	37.3338	-121.887	15	San Jose	8/7/2013
8	San Salvador at 1st	37.3302	-121.886	15	San Jose	8/5/2013
9	Japantown	37.3487	-121.895	15	San Jose	8/5/2013
10	San Jose City Hall	37.3374	-121.887	15	San Jose	8/6/2013
11	MLK Library	37.3359	-121.886	19	San Jose	8/6/2013

 

Podemos desenhar um mapa de onde as estações estão localizadas, usando Marker.map_table. A função opera em uma tabela, cujas colunas são (em ordem) latitude, longitude e um identificador opcional para cada ponto.

Marker.map_table(stations.select('lat', 'long', 'name').relabel('name', 'labels'))

 

O mapa é criado usando o OpenStreetMap, que é um sistema de mapeamento on-line aberto que você pode usar da mesma forma que usaria o Google Maps ou qualquer outro mapa online. Aumente o zoom em São Francisco para ver como as estações estão distribuídas. Clique em um marcador para ver qual estação é.

Você também pode representar pontos em um mapa por meio de círculos coloridos. Aqui está um mapa das estações de bicicletas de São Francisco.

sf = stations.where('landmark', are.equal_to('San Francisco'))
sf_map_data = sf.select('lat', 'long', 'name').relabel('name', 'labels')
Circle.map_table(sf_map_data, color='green')

 

Mapas mais informativos: uma aplicação de join

As estações de bicicletas estão localizadas em cinco cidades diferentes da Bay Area. Para distinguir os pontos usando uma cor diferente para cada cidade, vamos começar usando grupo para identificar todas as cidades e atribuir uma cor a cada uma delas.

cities = stations.group('landmark').relabeled('landmark', 'city')
cities

city	count
Mountain View	7
Palo Alto	5
Redwood City	7
San Francisco	35
San Jose	16

 

colors = cities.with_column('color', make_array('blue', 'red', 'green', 'orange', 'purple'))
colors

city	count	color
Mountain View	7	blue
Palo Alto	5	red
Redwood City	7	green
San Francisco	35	orange
San Jose	16	purple

 

Agora podemos unir stations e colors por landmark, e então selecionar as colunas que precisamos para desenhar um mapa.

joined = stations.join('landmark', colors, 'city')
colored = joined.select('lat', 'long', 'name', 'color').relabel('name', 'labels')
Marker.map_table(colored)

 

Agora os marcadores têm cinco cores diferentes para as cinco cidades diferentes.

Para ver de onde vem a maioria dos aluguéis de bicicletas, vamos identificar as estações de partida:

starts = commute.group('Start Station').sort('count', descending=True)
starts

Start Station	count
San Francisco Caltrain (Townsend at 4th)	25858
San Francisco Caltrain 2 (330 Townsend)	21523
Harry Bridges Plaza (Ferry Building)	15543
Temporary Transbay Terminal (Howard at Beale)	14298
2nd at Townsend	13674
Townsend at 7th	13579
Steuart at Market	13215
Embarcadero at Sansome	12842
Market at 10th	11523
Market at Sansome	11023

 

Podemos incluir os dados geográficos necessários para mapear essas estações, primeiro juntando starts com stations:

station_starts = stations.join('name', starts, 'Start Station')
station_starts

name	station_id	lat	long	dockcount	landmark	installation	count
2nd at Folsom	62	37.7853	-122.396	19	San Francisco	8/22/2013	7841
2nd at South Park	64	37.7823	-122.393	15	San Francisco	8/22/2013	9274
2nd at Townsend	61	37.7805	-122.39	27	San Francisco	8/22/2013	13674
5th at Howard	57	37.7818	-122.405	15	San Francisco	8/21/2013	7394
Adobe on Almaden	5	37.3314	-121.893	19	San Jose	8/5/2013	522
Arena Green / SAP Center	14	37.3327	-121.9	19	San Jose	8/5/2013	590
Beale at Market	56	37.7923	-122.397	19	San Francisco	8/20/2013	8135
Broadway St at Battery St	82	37.7985	-122.401	15	San Francisco	1/22/2014	7460
California Ave Caltrain Station	36	37.4291	-122.143	15	Palo Alto	8/14/2013	300
Castro Street and El Camino Real	32	37.386	-122.084	11	Mountain View	12/31/2013	1137

 

Agora extraímos apenas os dados necessários para desenhar nosso mapa, adicionando uma cor e uma área a cada estação. A área é 0,3 vezes a contagem do número de aluguéis começando em cada estação, onde a constante 0,3 foi escolhida para que os círculos apareceria em uma escala apropriada no mapa.

starts_map_data = station_starts.select('lat', 'long', 'name').with_columns(
    'colors', 'blue',
    'areas', station_starts.column('count') * 0.3
)
starts_map_data.show(3)
Circle.map_table(starts_map_data.relabel('name', 'labels'))

lat	long	name	colors	areas
37.7853	-122.396	2nd at Folsom	blue	2352.3
37.7823	-122.393	2nd at South Park	blue	2782.2
37.7805	-122.39	2nd at Townsend	blue	4102.2

 

Essa enorme bolha em São Francisco mostra que a parte leste da cidade é a capital incomparável do aluguel de bicicletas na Bay Area.

← Capítulo 8.4 – Unindo Tabelas por Colunas

Capítulo 9 – Aleatoriedade →