Kaip patikrinti tolydžius duomenis?

duomenų-paruošimas

pradedantiesiems

Prieš atliekant statistinę analizę, svarbu patikrinti duomenų kokybę. Šiame straipsnyje apžvelgsime, kaip tai padaryti.

Autorius

Paulius Alaburda

Paskelbta

2023 m. kovo 10 d.

Prieš atliekant bet kokią statistinę analizę, būtina patikrinti duomenų kokybę. Šiame straipsnyje apžvelgsime pagrindinius žingsnius.

Trūkstamos reikšmės

Pirmiausia reikia patikrinti, ar yra trūkstamų reikšmių:

library(dplyr)

# Kiek trūkstamų reikšmių kiekviename stulpelyje?
colSums(is.na(iris))

Sepal.Length  Sepal.Width Petal.Length  Petal.Width      Species 
           0            0            0            0            0

Ką daryti su trūkstamomis reikšmėmis?

Pašalinti - jei jų nedaug ir jos atsitiktinės
Imputuoti - pakeisti vidurkiu, mediana arba naudoti sudėtingesnius metodus
Analizuoti atskirai - patikrinti, ar trūkstamos reikšmės nėra sisteminės

Ekstremalios reikšmės (outliers)

Ekstremalias reikšmes galima aptikti vizualiai:

library(ggplot2)

ggplot(iris, aes(y = Sepal.Length)) +
  geom_boxplot() +
  labs(title = "Taurėlapių ilgio boxplot")

Arba skaičiavimu:

# Ekstremalios reikšmės pagal IQR metodą
Q1 <- quantile(iris$Sepal.Length, 0.25)
Q3 <- quantile(iris$Sepal.Length, 0.75)
IQR <- Q3 - Q1

lower_bound <- Q1 - 1.5 * IQR
upper_bound <- Q3 + 1.5 * IQR

outliers <- iris$Sepal.Length[iris$Sepal.Length < lower_bound | iris$Sepal.Length > upper_bound]
cat("Ekstremalios reikšmės:", outliers)

Ekstremalios reikšmės:

Skirstinys

Normalumo tikrinimas yra svarbus daugumai parametrinių testų:

ggplot(iris, aes(x = Sepal.Length)) +
  geom_histogram(aes(y = after_stat(density)), bins = 20, fill = "#4F46E5", alpha = 0.7) +
  geom_density(color = "red", linewidth = 1) +
  labs(title = "Taurėlapių ilgio histograma su tankio kreive")

Santrauka

Žingsnis	Ką tikrinti	R funkcija
1	Trūkstamos reikšmės	`is.na()`, `summary()`
2	Ekstremalios reikšmės	`boxplot()`, IQR metodas
3	Skirstinys	`hist()`, `qqnorm()`
4	Variacija	`var()`, `sd()`