Data Science II-A: Estadística descriptiva unidimensional. Tablas de frecuencia y gráficos de distribución

# Mostrar la tabla de valores de x_i y n_i
print(tabla_frecuencias[['x_i', 'n_i']])

       x_i  n_i
1     3.48    1
2     3.49    1
3     3.51    1
4     3.56    1
5     3.60    1
..     ...  ...
426   9.37    1
427   9.45    1
428   9.61    1
429   9.74    1
430  10.00    1

# Filtrar las observaciones con n_i mayor que 1
filtradas = tabla_frecuencias[tabla_frecuencias['n_i'] > 1]

# Seleccionar solo 10 observaciones
filtradas_10 = filtradas.head(10)

# Mostrar observaciones filtradas
print(filtradas_10[['x_i', 'n_i']])

     x_i  n_i
12  4.01    2
14  4.20    2
15  4.28    2
19  4.37    3
21  4.42    3
22  4.43    3
26  4.53    2
27  4.54    2
28  4.55    3
29  4.59    3

# Mostrar la tabla de valores de x_i y n_i
print(tabla_frecuencias[['x_i', 'n_i', 'N_i']])

       x_i  n_i   N_i
1     3.48    1     1
2     3.49    1     2
3     3.51    1     3
4     3.56    1     4
5     3.60    1     5
..     ...  ...   ...
426   9.37    1  1596
427   9.45    1  1597
428   9.61    1  1598
429   9.74    1  1599
430  10.00    1  1600

[430 rows x 3 columns]

La frecuencia absoluta acumulada es la suma de las frecuencias absolutas. En esta visualización resumida la frecuencia absoluta acumulada de los primeros 5 valores coincide con el índice $i$, pero esto no pasa cuando el valor de la variable se repite más de una vez:

# Mostrar la tabla de valores de x_i y n_i
print(tabla_frecuencias[['x_i', 'n_i', 'N_i']].head(15))

     x_i  n_i  N_i
1   3.48    1    1
2   3.49    1    2
3   3.51    1    3
4   3.56    1    4
5   3.60    1    5
6   3.85    1    6
7   3.86    1    7
8   3.87    1    8
9   3.91    1    9
10  3.94    1   10
11  4.00    1   11
12  4.01    2   13
13  4.11    1   14
14  4.20    2   16
15  4.28    2   18

Así, la fecuencia absoluta acumulada de $x_{15}$  (4.28) es 18, que resulta de sumar 2 a 16, que es la frecuencia absoluta acumulada de $x_{14}$  (4.20).

La frecuencia absoluta acumulada nos dice cuántas observaciones tienen un valor igual o inferior a un valor concreto de nuestro conjunto de datos. Es decir, en nuestro dataframe, hay 18 casos en los que la nota obtenida en el examen es igual o inferior a 4.28 ($x_{15}$).

Muy importante: una forma de comprobar si nuestra tabla de frecuencias es correcta, es fijarse en el último valor que adopta la frecuencia absoluta acumulada. Éste debe ser igual al número de observaciones totales. Recordemos que nuestro dataframe de notas tiene 1600 observaciones.

# Mostrar la tabla de valores de x_i y n_i
print(tabla_frecuencias[['x_i', 'n_i', 'N_i']].tail(5))

 x_i  n_i   N_i
426   9.37    1  1596
427   9.45    1  1597
428   9.61    1  1598
429   9.74    1  1599
430  10.00    1  1600

Efectivamente, si vemos los datos correspondientes a las 5 últimas filas de la tabla de frecuencias, comprobamos que el último valor ($x_{430}$), tiene una frecuencia absoluta acumulada de 1600.

Para terminar, mostraremos la fórmula de la frecuencia absoluta acumulada, con el objetivo de irnos familiarizando con la notación matemática que luego veremos en otros artículos:

# Mostrar la tabla de valores de x_i, n_i, N_i y f_1
print(tabla_frecuencias[['x_i', 'n_i', 'N_i', 'f_i']].head(15))

     x_i  n_i  N_i       f_i
1   3.48    1    1  0.000625
2   3.49    1    2  0.000625
3   3.51    1    3  0.000625
4   3.56    1    4  0.000625
5   3.60    1    5  0.000625
6   3.85    1    6  0.000625
7   3.86    1    7  0.000625
8   3.87    1    8  0.000625
9   3.91    1    9  0.000625
10  3.94    1   10  0.000625
11  4.00    1   11  0.000625
12  4.01    2   13  0.001250
13  4.11    1   14  0.000625
14  4.20    2   16  0.001250
15  4.28    2   18  0.001250

# Mostrar la tabla de valores de x_i, n_i, N_i, f_1 y F_i
print(tabla_frecuencias[['x_i', 'n_i', 'N_i', 'f_i', 'F_i']])

       x_i  n_i   N_i       f_i       F_i
1     3.48    1     1  0.000625  0.000625
2     3.49    1     2  0.000625  0.001250
3     3.51    1     3  0.000625  0.001875
4     3.56    1     4  0.000625  0.002500
5     3.60    1     5  0.000625  0.003125
..     ...  ...   ...       ...       ...
426   9.37    1  1596  0.000625  0.997500
427   9.45    1  1597  0.000625  0.998125
428   9.61    1  1598  0.000625  0.998750
429   9.74    1  1599  0.000625  0.999375
430  10.00    1  1600  0.000625  1.000000

# Obtener los valores mínimos y máximos de la columna 'A'
valor_minimo = df['nota'].min()
valor_maximo = df['nota'].max()

print("Valor mínimo en la columna 'nota':", valor_minimo)
print("Valor máximo en la columna 'nota':", valor_maximo)

Valor mínimo en la columna 'nota': 3.48
Valor máximo en la columna 'nota': 10.0

rango = valor_maximo - valor_minimo
print("Rango de la columna 'nota':", rango)

Rango de la columna 'nota': 6.52

num_grupos = 7
ancho_grupo = 1
print("Número de grupos:", num_grupos)
print("Ancho de cada grupo:", ancho_grupo)

print("g*a = ", num_grupos*ancho_grupo)

Número de grupos: 7
Ancho de cada grupo: 1 
g*a = 7

# Definir los contenedores de notas
bins = [1.95, 2.95, 3.95, 4.95, 5.95, 6.95, 7.95, 8.95]
labels = ["[1.95, 2.95)", "[2.95, 3.95)", "[3.95, 4.95)", "[4.95, 5.95)", "[5.95, 6.95)", "[6.95, 7.95)", "[7.95, 8.95)"]

# Crear una nueva columna 'contendor' para asignar las notas a los contenedores
df['contenedor'] = pd.cut(df['nota'], bins=bins, labels=labels, right=False)

# Calcular la tabla de frecuencias para los contenedores
frecuencia_absoluta = df['contenedor'].value_counts().sort_index()
frecuencia_acumulada = frecuencia_absoluta.cumsum()
frecuencia_relativa = frecuencia_absoluta / frecuencia_absoluta.sum()
frecuencia_relativa_acumulada = frecuencia_relativa.cumsum()

# Crear el DataFrame de la tabla de frecuencias
tabla_frecuencias_agrupadas = pd.DataFrame({
    'x_i': frecuencia_absoluta.index,  # Contenedores de notas
    'n_i': frecuencia_absoluta.values,  # Frecuencia absoluta
    'N_i': frecuencia_acumulada.values,  # Frecuencia acumulada
    'f_i': frecuencia_relativa.values,  # Frecuencia relativa
    'F_i': frecuencia_relativa_acumulada.values  # Frecuencia relativa acumulada
})

# Reiniciar el índice para que comience desde 1
tabla_frecuencias_agrupadas.index = np.arange(1, len(tabla_frecuencias_agrupadas) + 1)

# Mostrar la tabla de frecuencias
print(tabla_frecuencias_agrupadas)

            x_i  n_i   N_i       f_i       F_i
1   [3.45, 4.45)   32    32  0.020000  0.020000
2   [4.45, 5.45)  219   251  0.136875  0.156875
3   [5.45, 6.45)  535   786  0.334375  0.491250
4   [6.45, 7.45)  539  1325  0.336875  0.828125
5   [7.45, 8.45)  230  1555  0.143750  0.971875
6   [8.45, 9.45)   41  1596  0.025625  0.997500
7  [9.45. 10.45)    4  1600  0.002500  1.000000

Como podemos ver, nuestra tabla de frecuencias original, de 430 filas, ha quedado reducida a una tabla de 7 filas.

Cada grupo tiene datos (no hay grupos vacíos), y podemos sacar conclusiones a partir de ella. Por ejemplo, y si redondeamos, podemos decir que:

• Entre 6.5 y el 7.5 hay 539 notas, que suponen el 33,69% del total (fila 4)
• El 99,75% de las notas son inferiores a 9.45 (fila 6)
• Solo hay 4 notas iguales o superiores al 9.45, lo que representa un escaso 0.25%
• La mayor concentración de notas se está entre 5.5 y 7.5, (filas 3 y 4).
• Suspendidos sin remisión hay 32 exámenes, un 2%.

Nota: es importante darse cuenta de que ahora xi no es el valor que ocupa la posición $i$, si no el grupo, intervalo o contenedor que ocupa esa posición.

Representación gráfica

Como ya vimos en el primer artículo de esta serie, adelantando un poco lo que contaremos ahora, la distribución o frecuencia de las variables discretas, o discretizadas, se representan mediante histogramas

Un histograma es un gráfico similar al de barras (adecuado para variables cualitativas o categóricas), en el que las barras están juntas (sin espacios entre ellas).

En el eje $x$ vemos los rangos de valores, y en el eje y su frecuencia absoluta ($n_i$). Veamos un ejemplo, usando el dataframe de notas:

<span data-mce-type="bookmark" style="display: inline-block; width: 0px; overflow: hidden; line-height: 0;" class="mce_SELRES_end"></span><span data-mce-type="bookmark" style="display: inline-block; width: 0px; overflow: hidden; line-height: 0;" class="mce_SELRES_end"></span>
import seaborn as sns
import matplotlib.pyplot as plt

# Definir los bordes de los bins
bins = np.linspace(0, 10, 21)  # 21 porque queremos 20 intervalos

# Imprimir los bordes de los bins
print("Bordes de los bins:", bins)

# Graficar el histograma de las notas usando Seaborn
plt.figure(figsize=(10, 6))
sns.histplot(data=df['nota'], bins=bins, kde=False, color='blue')
plt.title('Distribución de Notas de la Población')
plt.xlabel('Nota')
plt.ylabel('Frecuencia')
plt.show()

Bordes de los bins: [ 0.   0.5  1.   1.5  2.   2.5  3.   3.5  4.   4.5  5.   5.5  6.   6.5
  7.   7.5  8.   8.5  9.   9.5 10. ]

Tal y como hemos definido este histograma, las notas se agrupan en 21 contenedores o grupos (20 intervalos), en saltos de 0.5, y teniendo en cuenta que el rango es de 10 (las notas van de 0 a 10).

Si nos fijamos, aunque hemos definido 21 contenedores para visualizar 20 intervalos, solo se aprecian 14 barras. Esto es porque en nuestro conjunto de datos, como hemos visto, no hay notas en los intervalos

• [0.0, 0.5)
• [0.5, 1.0)
• [1.0, 1.5)
• [1.5, 2.0)
• [2.0, 2.5)
• [2.5, 3.0)

Aún así, la visualización no está tan mal. Afecta a contenedores en los extremos, y no vemos huecos entre las barras.

Pero, ¿es la visualización óptima?

¿Qué pasa si queremos ver más contenedores, disminuyendo su ancho?

# Definir los bordes de los bins del tamaño de 0.1
bins = np.arange(0, 10.1, 0.1)

# Graficar el histograma de las notas usando Seaborn
plt.figure(figsize=(10, 6))
sns.histplot(data=df['nota'], bins=bins, kde=False, color='blue')
plt.title('Distribución de Notas de la Población')
plt.xlabel('Nota')
plt.ylabel('Frecuencia')
plt.show()

¿Cuál de los dos gráficos es mejor?

Es necesario advertir que ambos gráficos están desplazados hacia la derecha, porque hemos obligado a Python a incluir intervalos que empiezan desde cero.

Procedimiento para seleccionar el número óptimo de contenedores para un histograma

Como hemos visto, seleccionar correctamente el número de grupos y su ancho no es una ciencia exacta y, fuera de las reglas básicas, depende mucho del criterio del analista.

Si queremos tomar una decisión rápida, sobre todo a la hora de graficar los datos mediante histogramas, podemos determinar el número de grupos o contenedores a través de los métodos de la raíz cuadrada o el criterio de Sturges.

Raíz cuadrada

Este método es muy sencillo: consiste en calcular la raiz cuadrada del número de observaciones ($N$). Ése será el número de grupos o contenedores que usaremos ($g$).

Este método sirve solo en casos en los que hay relativamente pocas observaciones («menos de 125 datos«, según Johnson & Kuby).

Criterio de Sturges

Cuando el número de observaciones es grande (más de 125 observaciones), podemos usar el criterio de Sturges. Según este criterio, el número de grupos óptimo a la hora de crear contenedores o grupos se calcula mediante la siguiente expresión:

$$g = 1 + \log_2(N)$$

El número de grupos debe redondearse a un número entero. Si el valor entero es par, se redondea al alza. Si es impar, se redondea a la baja. Esto genera un número impar de contenedores, lo que permite ver la acumulación cerca de la media en una distribución normal.

En el caso de las notas, donde tenemos 1600 observaciones, deberíamos usar este criterio.

import math

N = 1600
resultado = 1 + math.log2(N)

print(resultado)

11.643856189774725

Según este resultado, el número óptimo de contenedores o grupos $g$ es 11, pero en nuestra tabla de frecuencias usamos 7 contenedores… ¿En qué quedamos?

Es importante entender que no es lo mismo mostrar los datos en una tabla, que en un histograma. Ambas cosas son para fines distintos.

Por ejemplo, en la tabla, el método que hemos usado nos ha permitido hacer saltos de ancho 1, cosa que con las notas es algo lógico. Además, partiendo de 1.95, es fácil e intuitivo redondear las fronteras de grupo (de 2 a 3, de 3 a 4…, etc.)

Con 11 contenedores, y con notas de 0 a 10, los contenedores tendrían un ancho de:

$$rango/g = 10/11 = 0.9090 \approx 0.91$$

El rango en nuestro caso concreto es, aproximadamente, de 7, por lo que tendríamos contenedores de ancho: