Análise Exploratória de Dados (EDA)

A Análise Exploratória de Dados (AED), ou EDA pela sigla em inglês (Exploratory Data Analysis), é uma metodologia fundamental no campo da ciência de dados. Seu objetivo principal é desenvolver uma compreensão profunda dos seus dados através do uso sistemático da transformação e da visualização. Este processo é crucial para examinar a qualidade dos dados, identificar padrões e gerar novas perguntas para uma investigação mais detalhada.

O que é a Análise Exploratória de Dados (AED)? Definição e Propósito

A AED é uma parte essencial de qualquer análise de dados porque permite examinar a qualidade dos dados, o que é sempre necessário. Não há regras estritas sobre as perguntas específicas a serem formuladas, mas a AED compreende um ciclo iterativo e dinâmico:

• Gerar perguntas sobre seus dados.
• Buscar respostas visualizando, transformando e modelando seus dados.
• Usar o que foi aprendido para refinar suas perguntas ou gerar novas questões.

Neste ciclo, você fará dois tipos de perguntas fundamentais para descobrir informações valiosas:

1. Que tipo de variação existe dentro de cada uma das minhas variáveis?
2. Que tipo de covariação ocorre entre minhas diferentes variáveis?

Essas perguntas guiarão sua exploração e permitirão que você entenda melhor a estrutura e as características de seus conjuntos de dados.

Conceitos Chave em AED: Revisão de Definições

Para embarcar-se na AED, é vital recordar algumas definições básicas:

• Uma unidade é uma entidade pertencente a uma população.
• Os aspectos, características ou quantidades observadas nestas unidades são denominados variáveis, já que mudam de uma unidade para outra.
• Um dado é o produto de observar uma variável, também conhecido como observação.
• Um conjunto de dados é uma coleção de observações de uma ou mais variáveis medidas sobre várias unidades da população.

As variáveis são classificadas em dois grandes grupos:

• Variáveis qualitativas (categóricas): Representam qualidades ou categorias. Podem ser nominais (sem ordem) ou ordinais (com uma ordem).
• Variáveis quantitativas (numéricas): Representam quantidades. Subdividem-se em discretas (contagem de eventos) e contínuas (medições que podem assumir qualquer valor dentro de um intervalo).

Ferramentas para a AED: Explorando com Tidyverse e ggplot2

Dentro do ecossistema Tidyverse, o ggplot2 é uma ferramenta poderosa para criar visualizações. Ele é carregado junto com outros pacotes ao executar library(tidyverse) no R. O ggplot2 baseia-se na gramática dos gráficos, que permite construir visualizações por camadas usando um modelo com vários parâmetros:

ggplot(data = <DATOS>) +
 <GEOM_FUNCIÓN>(
 mapping = aes(<MAPEOS>),
 stat = <ESTADÍSTICAS>,
 position = <POSICIÓN>) +
 <FUNCIÓN_COORDENADAS> +
 <FUNCIÓN_FACETAS>

Essa estrutura permite que você construa gráficos complexos de maneira intuitiva e controlada.

Entendendo a Variação nos Dados

A variação refere-se à tendência dos valores de uma variável a mudar de uma medição para outra. Mesmo ao medir uma variável contínua duas vezes, é provável que você obtenha resultados ligeiramente diferentes devido a pequenos erros. Isso também se aplica a quantidades que são teoricamente constantes, como a velocidade da luz, onde cada medição inclui uma margem de erro variável.

As variáveis categóricas também mostram variação. Por exemplo, a cor dos olhos varia entre diferentes pessoas, ou a opinião sobre um tema político pode variar em diferentes momentos. O objetivo da AED é entender e quantificar essa variação.

Análise Univariada: Visualizando Distribuições

O primeiro passo na AED é a análise univariada, que consiste em examinar uma variável por vez. O objetivo é aprender sobre a distribuição de cada variável: quais são os possíveis valores que ela pode assumir e com que frequência esperamos que ela assuma esses valores.

A forma de visualizar a distribuição de uma variável dependerá se ela é categórica ou numérica, e é realizada por meio do cálculo de medidas-resumo e da criação de gráficos.

Análise de Variáveis Categóricas

As variáveis categóricas assumem valores de um grupo limitado de categorias. No R, geralmente são armazenadas como vetores de fatores ou caracteres. Os valores são simplesmente rótulos atribuídos a essas categorias. A distribuição de uma variável categórica lista as categorias e fornece a contagem ou porcentagem de unidades em cada uma.

Tabela de Frequências

Uma tabela de frequências é uma forma simples de resumir variáveis categóricas. Por exemplo, se analisarmos a procedência de veículos:

Esta tabela nos mostra a frequência absoluta e a porcentagem de veículos de cada região.

Gráfico de Setores (ou de Pizza)

Um gráfico de setores divide um círculo em seções, onde a área de cada seção é proporcional à frequência de sua categoria. No entanto, seu uso frequentemente não é recomendado para a comparação precisa entre categorias. (Ver razões para não usar gráficos de setores).

Gráfico de Barras

O gráfico de barras é uma das maneiras mais simples e eficazes de visualizar a distribuição de uma variável categórica. Neste gráfico:

• O eixo horizontal representa as categorias da variável.
• A altura de cada barra corresponde à frequência (absoluta ou relativa) da categoria.

Se as categorias têm uma ordem inerente (como