Variable qualitative

On considère ici une variable qualitative \(X\) dont on observe \(n\) réalisations \(\underline{x}=(x_1,x_2,\ldots,x_n)\). Cette variable prend \(K\) modalités \(m_1,\ldots,m_K\). Si les modalités n’ont pas d’ordre naturel, on parle de variable qualitative nominale (ex. Type), sinon c’est une variable qualitative ordinale (ex. Qualite).

La variable Type contient \(K=\) 2 modalités qui sont blanc, rouge.

levels(Data$Type)

[1] "blanc" "rouge"

On récupère l’effectif \(n_k=\sum_{i=1}^n \mathbb{1}_{x_i=m_k}\) pour chaque modalité \(m_k\) avec summary()ou table().

summary(Data$Type)

blanc rouge 
  425   175 

EffType = as.vector(table(Data$Type))
EffType

[1] 425 175

On utilise aussi les fréquences \(f_k=\frac{n_k}{n}\) donc \(\sum_{k=1}^K f_k=1\).

Freq = EffType/length(Data$Type)

Pour une variable qualitative ordinale, on utilise également les effectifs cumulés \(N_k=\sum_{\ell=1}^k n_\ell\) et les fréquences cumulées \(F_k=\sum_{\ell=1}^k f_\ell\).

par(mfrow = c(1, 3))
pie(table(Data$Type))
barplot(table(Data$Type), main = "Effectifs")
barplot(table(Data$Type)/nrow(Data), main = "Frequences")

library(tidyverse)
Data$Qualite_rec <- fct_relevel(Data$Qualite, "bad", "medium", "good")
par(mfrow = c(1, 3))
pie(table(Data$Qualite_rec))
barplot(table(Data$Qualite_rec)/nrow(Data), main = "Frequences")
barplot(cumsum(table(Data$Qualite_rec))/nrow(Data), main = "Freq. cumulées")

g1 = ggplot(Data) + geom_bar(aes(x = Type)) + ggtitle("Effectifs")
g2 = ggplot(Data) + geom_bar(aes(x = Type, y = ..prop.., group = 1)) + ggtitle("Frequences")
df = data.frame(type = levels(Data$Type), value = as.vector(Freq))
g3 = ggplot(df, aes(x = "", y = value, fill = type)) + geom_bar(width = 1, stat = "identity")
g4 = g3 + coord_polar("y", start = 0)

grid.arrange(g1, g2, g3, g4, nrow = 2)

library(tidyverse)
Data$Qualite_rec <- fct_relevel(Data$Qualite, "bad", "medium", "good")
df <- data.frame(Qualite = levels(Data$Qualite_rec), value = table(Data$Qualite_rec),
    valuecumul = 100 * cumsum(prop.table(table(Data$Qualite_rec))))
df$Qualite <- fct_relevel(df$Qualite, "bad", "medium", "good")
df <- df %>%
    mutate(freq = value.Freq/nrow(Data))
g1 <- ggplot(Data) + geom_bar(aes(x = Qualite_rec)) + ggtitle("Effectifs")
g2 <- ggplot(Data) + geom_bar(aes(x = Qualite_rec, y = ..prop.., group = 1)) + ggtitle("Frequences")
g3 <- ggplot(df, aes(x = Qualite, y = valuecumul)) + geom_bar(stat = "identity") +
    ggtitle("Fréquences cumulées")

g4 <- ggplot(df, aes(x = "", y = freq, fill = Qualite)) + geom_bar(width = 1, stat = "identity") +
    coord_polar("y", start = 0)


grid.arrange(g1, g2, g3, g4, ncol = 2)

Data <- Data[, -9]

Variable quantitative

Nous allons ici nous intéresser à l’étude d’une variable quantitative \(X\) dont on a \(n\) observations \(\underline{x}=(x_1,\ldots,x_n)\). On va illustrer cette section avec la variable Alcool.

mean(Data$Alcool)

[1] 10.48592

var(Data$Alcool)

[1] 1.316059

sd(Data$Alcool)

[1] 1.147196

range(Data$Alcool)

[1]  8 14

min(Data$Alcool)

[1] 8

max(Data$Alcool)

[1] 14

diff(range(Data$Alcool))

[1] 6

median(Data$Alcool)

[1] 10.4

sort(Data$Alcool)[296:305]

 [1] 10.3 10.3 10.3 10.3 10.4 10.4 10.4 10.4 10.4 10.4

quantile(Data$Alcool)

  0%  25%  50%  75% 100% 
 8.0  9.5 10.4 11.3 14.0 

quantile(Data$Alcool, 0.9)

 90% 
12.1 

q.Alc <- quantile(x = Data$Alcool, probs = c(0.25, 0.75), names = FALSE)
diff(q.Alc)

[1] 1.8

L = q.Alc + diff(q.Alc) * c(-1.5, 1.5)
L

[1]  6.8 14.0

# valeur adjacente inférieure :
min(Data$Alcool[Data$Alcool >= L[1]])

[1] 8

# valeur adjacente supérieure :
max(Data$Alcool[Data$Alcool <= L[2]])

[1] 14

summary(Data$Alcool)

   Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
   8.00    9.50   10.40   10.49   11.30   14.00 

par(mfrow = c(1, 2))
hist(Data$Alcool, main = "Histo. des effectifs")
hist(Data$Alcool, freq = FALSE, main = "Histo. des fréquences")

H <- hist(Data$Alcool, plot = FALSE)
attributes(H)

$names
[1] "breaks"   "counts"   "density"  "mids"     "xname"    "equidist"

$class
[1] "histogram"

H$breaks  # les (K+1) bordures des classes [a_k,a_{k+1}]
H$counts  # le nombre de points dans chaque classe
H$density  # la hauteur des K classes
H$mids  # le milieu des K classes
H$xname  # le nom de la variable
H$equidist  # découpage régulier 

g1 = ggplot(Data, aes(x = Alcool)) + geom_histogram(color = "black", fill = "white",
    binwidth = 0.5)
g2 = ggplot(Data, aes(x = Alcool)) + geom_histogram(aes(y = ..density..), color = "black",
    fill = "white", binwidth = 0.5)
grid.arrange(g1, g2, ncol = 2)

ggplot(Data, aes(x = Alcool)) + geom_histogram(aes(y = ..density..), colour = "black",
    fill = "white") + geom_density(alpha = 0.2, fill = "red")

ggplot(Data, aes(x = Alcool, color = Type)) + geom_histogram(aes(y = ..density..),
    fill = "white") + geom_density(alpha = 0.2)

plot(ecdf(Data$Alcool), xlab = "Variable Alcool", ylab = "", main = "Fonction de répartition empirique")

ggplot(Data, aes(Alcool)) + stat_ecdf(geom = "step") + xlab("Variable Alcool") +
    ylab(" ") + ggtitle("Fonction de répartition empirique")

boxplot(Data[, -c(1:2)])

B <- boxplot(Data$SO2lbr, horizontal = TRUE)

attributes(B)

$names
[1] "stats" "n"     "conf"  "out"   "group" "names"

B$stats

     [,1]
[1,]  2.0
[2,] 15.5
[3,] 27.0
[4,] 41.0
[5,] 73.5

median(Data$SO2lbr)

[1] 27

q <- quantile(x = Data$SO2lbr, probs = c(0.25, 0.75), names = FALSE)
q

[1] 15.75 41.00

L = q + diff(q) * c(-1.5, 1.5)
min(Data$SO2lbr[Data$SO2lbr >= L[1]])

[1] 2

max(Data$SO2lbr[Data$SO2lbr <= L[2]])

[1] 73.5

B$out

[1]  89.0 105.0  85.0 112.0  79.5

Data$SO2lbr[which(Data$SO2lbr < B$stats[1] | Data$SO2lbr > B$stats[5])]

[1]  89.0 105.0  85.0 112.0  79.5

g1 = ggplot(gather(key = "variable", value = "valeur", Data[, c(3:4)])) + geom_boxplot(aes(x = variable,
    y = valeur))
g2 = ggplot(gather(key = "variable", value = "valeur", Data[, c(5:6)])) + geom_boxplot(aes(x = variable,
    y = valeur))
grid.arrange(g1, g2, ncol = 2)

g1 = ggplot(gather(key = "variable", value = "valeur", Data[, c(3:4)])) + geom_violin(aes(x = variable,
    y = valeur))
g2 = ggplot(gather(key = "variable", value = "valeur", Data[, c(5:6)])) + geom_violin(aes(x = variable,
    y = valeur))
grid.arrange(g1, g2, ncol = 2)

Entre 2 variables quantitatives

Supposons dans cette partie que X et Y sont deux variables quantitatives et on observe une série de \(n\) valeurs pour chacune : \(\underline{x}=(x_1,\ldots,x_n)\) et \(\underline{y}=(y_1,\ldots,y_n)\).

On peut tout d’abord représenter le nuage de points de coordonnées \((x_i,y_i)\) :

plot(Data$Alcool, Data$Densite, pch = 20, xlab = "Alcool", ylab = "Densite")

ggplot(Data, aes(x = Alcool, y = Densite)) + geom_point()

corrplot(cor(Data[, -c(1:2)]), method = "ellipse")

ggcorrplot(cor(Data[, -c(1:2)]), method = "circle")

ggcorrplot(cor(Data[, -c(1:2)]), hc.order = TRUE, type = "lower", lab = TRUE)

plot(Densite ~ Alcool, data = Data, pch = 20)
abline(lm(Densite ~ Alcool, data = Data), col = "red")

ggplot(Data, aes(x = Alcool, y = Densite)) + geom_point() + geom_smooth(method = lm)

Entre une variable quantitative et une variable qualitative

Supposons dans cette partie que \(X\) est une variable qualitative prenant \(J\) modalités \(m_1, \ldots, m_J\) et \(Y\) une variable quantitative. On observe une série de \(n\) valeurs pour chacune : \(\underline{x}=(x_1,\ldots,x_n)\) et \(\underline{y}=(y_1,\ldots,y_n)\).

On note \(C_j=\{i\in\{1,\ldots,n\}; x_i=m_j\}\) l’ensemble des individus prenant la modalité \(m_j\) et \(n_j\) son cardinal.

La moyenne de \(\underline{y}\) peut alors se décomposer en une moyenne pondérée des moyennes de \(y\) conditionnellement aux modalités de \(X\) : \[ \bar{y} = \frac{1}{n} \sum_{j=1}^J n_j\ \bar{y}_{[j]} \textrm{ avec } \bar{y}_{[j]} = \frac{1}{n_j} \sum_{i\in C_j} y_i \] De même la variance se décompose en \(s_y^2 = \underbrace{s_{y,E}^2}_{\textrm{variance inter-classe}} + \underbrace{s_{y,R}^2}_{\textrm{variance intra-classe}}\) avec

\[ s_{y,E}^2 = \frac{1}{n} \sum_{j=1}^J n_j\ (\bar{y}_{[j]} - \bar{y})^2 \] et \[ s_{y,R}^2 = \frac{1}{n} \sum_{j=1}^J n_j\ s_{y,[j]}^2 \textrm{ avec } s^2_{y,[j]} = \frac{1}{n_j}\sum_{i\in C_j} (y_i - \bar{y}_{[j]})^2 \] On peut alors définir le rapport de corrélation \[ \rho_{y|x} = \sqrt{\frac{s_{y,E}^2}{s_{y}^2}} = \sqrt{1 - \frac{s_{y,R}^2}{s_{y}^2}}\in[0,1]. \] Plus \(\rho_{y|x}\) est proche de \(0\), plus \(s_{y,E}^2\) est proche de 0 et donc moins la variable qualitative \(X\) a d’influence sur la variable quantitative \(Y\).

Graphiquement, on peut représenter la distribution de la variable quantitative conditionnellement aux modalités de la variable qualitative pour visualiser la liaison potentielle entre les deux variables.

par(mfrow = c(1, 2))
boxplot(Alcool ~ Qualite, data = Data)
boxplot(Alcool ~ Type, data = Data)

g1 = ggplot(Data, aes(x = Qualite, y = Alcool)) + geom_boxplot()
g2 = ggplot(Data, aes(x = Qualite, y = Alcool)) + geom_violin()
g3 = ggplot(Data, aes(x = Alcool, fill = Qualite)) + geom_density(alpha = 0.2)
grid.arrange(g1, g2, g3, ncol = 2)

Entre deux variables qualitatives

Supposons dans cette partie que \(X\) est une variable qualitative prenant \(J\) modalités \(m_1,\ldots,m_J\) et \(Y\) est une vraiable qualitative prenant \(K\) modalités \(\ell_1,\ldots,\ell_K\). On observe une série de \(n\) valeurs pour chacune : \(\underline{x}=(x_1,\ldots,x_n)\) et \(\underline{y}=(y_1,\ldots,y_n)\). Pour étudier l’influence de deux variables qualitatives entre elles, on se base sur la table de contingence qui est l’ensemble des effectifs conjoints \[ n_{j,k} = \sum_{i=1}^n \mathrm{1}_{x_i = m_j\ \cap\ y_i=\ell_k},\ \ \forall j\in\{1,\ldots,J\},\ \forall k\in\{1,\ldots,K\} \] On définit les effectifs marginaux par \[ n_{j,.}=\sum_{k=1}^K n_{j,k}\ \ \ \textrm{ et } \ \ \ n_{.,k}=\sum_{j=1}^J n_{j,k} \]

table.cont = table(Data$Qualite, Data$Type)
table.cont

        
         blanc rouge
  bad       17     2
  good      89    21
  medium   319   152

mosaicplot(table(Data$Qualite, Data$Type))

mosaicplot(table(Data$Type, Data$Qualite))

library(ggmosaic)
ggplot(data = Data) + geom_mosaic(aes(x = product(Type, Qualite), fill = Qualite),
    na.rm = TRUE) + xlab("Qualite") + ylab("Type")

ggplot(data = Data) + geom_mosaic(aes(x = product(Qualite, Type)), na.rm = TRUE) +
    xlab("Type") + ylab("Qualite")