Índice

1. 1. O que é Ciência de Dados?
   • 1.1. Introdução
     • 1.1.1. Ferramentas Computacionais
     • 1.1.2. Técnicas Estatísticas
   • 1.2. Por que Ciência de Dados?
   • 1.3. Traçando os Clássicos
     • 1.3.1. Personagens Literários
     • 1.3.2. Outro Tipo de Personagem
2. 2. Causalidade e Experimentos
   • 2.1. John Snow e a Bomba da Broad Street
   • 2.2. O “Grande Experimento” de Snow
   • 2.3. Estabelecendo Causalidade
   • 2.4. Randomização
   • 2.5. Notas Finais
3. 3. Progamando em Python
   • 3.1. Expressões
   • 3.2. Nomes
     • 3.2.1. Exemplo: Taxas de Crescimento
   • 3.3. Chamadas
   • 3.4. Introdução às Tabelas
4. 4. Tipos de Dados
   • 4.1. Números
   • 4.2. Strings
     • 4.2.1. Métodos de Strings
   • 4.3. Comparações
5. 5. Sequências
   • 5.1. Arrays
   • 5.2. Ranges
   • 5.3. Mais sobre Arrays
6. 6. Tabelas
   • 6.1. Ordenando Linhas
   • 6.2. Selecionando Linhas
   • 6.3. Exemplo: Tendências Populacionais
   • 6.4. Examplo: Proporções de Sexos
7. 7. Visualização
   • 7.1. Visualizando Distribuições
     Categóricas
   • 7.2. Visualizando Distribuições Numéricas
   • 7.3. Gráficos Sobrepostos
8. 8. Funções e Tabelas
   • 8.1. Aplicando Função a uma Coluna
   • 8.2. Classificando por uma Variável
   • 8.3. Classificação Cruzada
   • 8.4. Unindo Tabelas por Colunas
   • 8.5. Compartilhamento de Bicicletas
9. 9. Aleatoriedade
   • 9.1. Declarações Condicionais
   • 9.2. Iteração
   • 9.3. Simulação
   • 9.4. O Problema de Monty Hall
   • 9.5. Encontrando Probabilidades
10. 10. Amostragem e Distribuições Empíricas
    • 10.1. Distribuições Empíricas
    • 10.2. Amostragem de uma População
    • 10.3. Distribuição Empírica de uma
      Estatística
    • 10.4. Amostragem Aleatória em Python
11. 11. Testando Hipóteses
    • 11.1. Avaliando um Modelo
    • 11.2. Múltiplas Categorias
    • 11.3. Decisões e Incertezas
    • 11.4. Probabilidades de Erro
12. 12. Comparando Duas Amostras
    • 12.1. Teste A/B
    • 12.2. Causalidade
    • 12.3. Esvaziar
13. 13. Estimação
    • 13.1. Percentis
    • 13.2. O Bootstrap
    • 13.3. Intervalos de Confiança
    • 13.4. Usando Intervalos de Confiança
14. 14. Por que a Média é Importante
    • 14.1. Propriedades da Média
    • 14.2. Variabilidade
    • 14.3. O DP e a Curva Normal
    • 14.4. Teorema Central do Limite
    • 14.5. Variabilidade da Média da Amostra
    • 14.6. Escolhendo um Tamanho de Amostra
15. 15. Previsão
    • 15.1. Correlação
    • 15.2. Linha de Regressão
    • 15.3. Método dos Mínimos Quadrados
    • 15.4. Regressão de Mínimos Quadrados
    • 15.5. Diagnósticos Visuais
    • 15.6. Diagnóstico Numérico

from datascience import *
import numpy as np
path_data = '../../../assets/data/'
np.set_printoptions(threshold=50)

Ordenando Linhas

“A NBA é a liga esportiva profissional mais bem paga do mundo,” relatou a CNN em março de 2016. A tabela nba_salaries contém os salários de todos os jogadores da National Basketball Association na temporada 2015-2016.

Cada linha representa um jogador. As colunas são:

O código para as posições é PG (Armador), SG (Ala-armador), PF (Ala-pivô), SF (Ala) e C (Pivô). Mas o que segue não envolve detalhes sobre como o basquete é jogado.

A primeira linha mostra que Paul Millsap, Ala-pivô do Atlanta Hawks, tinha um salário de quase $18.7 milhões em 2015-2016.

# Esta tabela pode ser encontrada online: https://www.statcrunch.com/app/index.php?dataid=1843341
nba_salaries = Table.read_table(path_data + 'nba_salaries.csv')
nba_salaries

A tabela contém 417 linhas, uma para cada jogador. Apenas 10 das linhas são exibidas. O método show nos permite especificar o número de linhas, com o padrão (sem especificação) sendo todas as linhas da tabela.

nba_salaries.show(3)

Passe rapidamente por cerca de 20 linhas ou mais e você verá que as linhas estão em ordem alfabética pelo nome da equipe. Também é possível listar as mesmas linhas em ordem alfabética pelo nome do jogador usando o método sort. O argumento para sort é um rótulo de coluna ou índice.

nba_salaries.sort('PLAYER').show(5)

Para examinar os salários dos jogadores, seria muito mais útil se os dados fossem ordenados por salário.

Para fazer isso, primeiro simplificaremos o rótulo da coluna de salários (apenas por conveniência) e depois ordenaremos pelo novo rótulo SALARY.

Isso organiza todas as linhas da tabela em ordem crescente de salário, com o salário mais baixo aparecendo primeiro. A saída é uma nova tabela com as mesmas colunas da original, mas com as linhas reorganizadas.

nba = nba_salaries.relabeled("'15-'16 SALARY", 'SALARY')
nba.sort('SALARY')

Esses números são um tanto difíceis de comparar, pois alguns desses jogadores mudaram de equipe durante a temporada e receberam salários de mais de uma equipe; apenas o salário da última equipe aparece na tabela. O armador Phil Pressey, por exemplo, mudou de Filadélfia para Phoenix durante o ano e pode estar se mudando novamente para o Golden State Warriors.

O relatório da CNN trata do outro extremo da escala salarial – os jogadores que estão entre os mais bem pagos do mundo.

Para ordenar as linhas da tabela em ordem decrescente de salário, devemos usar sort com a opção descending=True.

nba.sort('SALARY', descending=True)

Kobe Bryant, em sua temporada final com os Lakers, foi o mais bem pago, com um salário de US$\$25$ milhões. Observe que o MVP Stephen Curry não aparece entre os 10 primeiros. Ele está bem mais abaixo na lista, como veremos mais tarde.

Argumentos Nomeados

A parte descending=True desta expressão de chamada é chamada de argumento nomeado. Quando uma função ou método é chamado, cada argumento possui tanto uma posição quanto um nome. Ambos são evidentes no texto de ajuda de uma função ou método.

help(nba.sort)

Ajuda sobre classificação de método no módulo datascience.tables:

sort(column_or_label, descendente=False, distinto=False) método de datascience.tables.Table instance
    Retorna uma tabela de linhas ordenadas de acordo com os valores de uma coluna.

    Args:
        ``column_or_label``: a coluna cujos valores são usados ​​para classificação.

        ``descending``: se True, a classificação será decrescente, em vez de
            crescente.

        ``distinct``: se True, valores repetidos em ``column_or_label`` irão
            ser omitidos

    Returns:
        Uma instância de ``Table`` contendo linhas ordenadas com base nos valores
        de ``column_or_label``.

    >>> marbles = Table().with_columns(
    ...     "Color", make_array("Red", "Green", "Blue", "Red", "Green", "Green"),
    ...     "Shape", make_array("Round", "Rectangular", "Rectangular", "Round", "Rectangular", "Round"),
    ...     "Amount", make_array(4, 6, 12, 7, 9, 2),
    ...     "Price", make_array(1.30, 1.30, 2.00, 1.75, 1.40, 1.00))
    >>> marbles
    Color | Shape       | Amount | Price
    Red   | Round       | 4      | 1.3
    Green | Rectangular | 6      | 1.3
    Blue  | Rectangular | 12     | 2
    Red   | Round       | 7      | 1.75
    Green | Rectangular | 9      | 1.4
    Green | Round       | 2      | 1
    >>> marbles.sort("Amount")
    Color | Shape       | Amount | Price
    Green | Round       | 2      | 1
    Red   | Round       | 4      | 1.3
    Green | Rectangular | 6      | 1.3
    Red   | Round       | 7      | 1.75
    Green | Rectangular | 9      | 1.4
    Blue  | Rectangular | 12     | 2
    >>> marbles.sort("Amount", descending = True)
    Color | Shape       | Amount | Price
    Blue  | Rectangular | 12     | 2
    Green | Rectangular | 9      | 1.4
    Red   | Round       | 7      | 1.75
    Green | Rectangular | 6      | 1.3
    Red   | Round       | 4      | 1.3
    Green | Round       | 2      | 1
    >>> marbles.sort(3) # the Price column
    Color | Shape       | Amount | Price
    Green | Round       | 2      | 1
    Red   | Round       | 4      | 1.3
    Green | Rectangular | 6      | 1.3
    Green | Rectangular | 9      | 1.4
    Red   | Round       | 7      | 1.75
    Blue  | Rectangular | 12     | 2
    >>> marbles.sort(3, distinct = True)
    Color | Shape       | Amount | Price
    Green | Round       | 2      | 1
    Red   | Round       | 4      | 1.3
    Green | Rectangular | 9      | 1.4
    Red   | Round       | 7      | 1.75
    Blue  | Rectangular | 12     | 2

No topo deste texto de help, aparece a assinatura do método sort:

sort(column_or_label, descending=False, distinct=False)

Isso descreve as posições, nomes e valores padrão dos três argumentos para sort. Ao chamar este método, você pode usar argumentos posicionais ou nomeados, então as seguintes três chamadas fazem exatamente a mesma coisa.

sort('SALARY', True)
sort('SALARY', descending=True)
sort(column_or_label='SALARY', descending=True)

Quando um argumento é simplesmente True ou False, é uma convenção útil incluir o nome do argumento para que seja mais óbvio o que o valor do argumento significa.