Learn R Programming

lupa (version 0.1.1)

detectar_dependencias: Detectar dependencias funcionales entre columnas

Description

Busca pares ordenados determinante -> dependiente. El cumplimiento es la proporción de filas que coincide con el valor modal del dependiente para cada valor del determinante; por eso una dependencia aproximada señala directamente las filas minoritarias que pueden ser errores de carga.

Usage

detectar_dependencias(
  datos,
  umbral = 0.995,
  muestra = 1e+05,
  max_columnas = 100L,
  umbral_casi_constante = 0.95,
  umbral_casi_clave = 0.8,
  incluir_claves = FALSE,
  min_observaciones = 10L,
  max_ejemplos = 5L,
  max_comparaciones = 200000L,
  max_trabajo = 1e+08,
  proteger_datos_personales = FALSE,
  columnas_personales = character(),
  sentinelas_numericos = NULL
)

Value

Data frame de clase dependencias_funcionales, ordenado por cumplimiento y soporte. evidencia cita contradicciones concretas, y no publica los valores de una columna clasificada como dato personal: la evidencia de un par que nombra una columna personal sale entera como [evidencia protegida] —lo mismo que en el perfil— y, en las demás, lo que repite un valor de una columna personal de la tabla —una observación que cita la cédula— se tapa con el mismo piso que aplica perfilar(). Los atributos muestreado, filas_analizadas, columnas_analizadas, columnas_omitidas, columnas_descartadas y truncado documentan el alcance efectivo. n_pares_posibles, n_pares_comparados, n_pares_sin_comparar y max_comparaciones

documentan el presupuesto de comparaciones. trabajo_estimado, trabajo_comparado, trabajo_sin_comparar, unidad_trabajo y max_trabajo documentan el presupuesto por filas. Con muestra, verificadas_tabla_completa dice, fila por fila, si las cifras se recalcularon sobre la tabla completa, y n_descartadas_tabla_completa

cuenta las que la muestra mostraba y la tabla no sostiene. columnas_descartadas

es un data frame que explica por qué una columna no se usó como determinante. Una columna cuyo nombre se repite en la tabla no entra en ninguna dependencia, de ningún lado, y se descarta con el motivo nombre_repetido: la fila diría k -> k sin decir cuál columna es cuál.

Arguments

datos

Tabla que se desea examinar.

umbral

Cumplimiento mínimo en [0, 1].

muestra

Máximo de filas; Inf desactiva el muestreo.

max_columnas

Máximo de columnas analizadas.

umbral_casi_constante

Proporción modal a partir de la cual un determinante se descarta por casi constante.

umbral_casi_clave

Tasa de valores distintos a partir de la cual un determinante se descarta por casi clave, salvo que incluir_claves sea verdadero.

incluir_claves

Si se incluyen determinantes únicos, que satisfacen dependencias de forma trivial.

min_observaciones

Mínimo de pares presentes para informar una dependencia.

max_ejemplos

Máximo de contradicciones concretas en evidencia.

max_comparaciones

Máximo de pares determinante-dependiente que se comparan. Inf desactiva el presupuesto.

max_trabajo

Máximo de unidades fila-par estimadas. Inf desactiva el presupuesto que escala con las filas; se combina con max_comparaciones y se aplica el límite más restrictivo.

proteger_datos_personales

Si los valores de las columnas clasificadas como dato personal se ocultan en evidencia. FALSE por omisión; los nombres de columna y los conteos se conservan igual. La clasificación se hace aquí por léxico y por forma —esta función no recibe un perfil—, así que lo que sólo quien conoce los datos sabe personal entra por columnas_personales. perfilar() la llama con FALSE porque protege el perfil entero después.

columnas_personales

Columnas que traen datos personales, declaradas con la misma forma que acepta perfilar(): nombres de columna, o un vector con nombre donde el nombre es la columna y el valor es el tipo. Sin ella, una columna que el léxico no reconoce —un legajo interno— publica sus valores en evidencia. Sólo tiene efecto con proteger_datos_personales = TRUE.

sentinelas_numericos

Vector de valores declarados como ausencia. Las celdas que contienen un valor declarado no participan en la dependencia, igual que una celda NA; por eso n_evaluados cuenta sólo las filas con ambas columnas presentes. La lista por omisión no se considera una declaración.

Details

Para evitar resultados vacíos o triviales, se omiten por defecto las claves únicas, los determinantes cuya tasa de valores distintos alcanza umbral_casi_clave, los determinantes cuya moda alcanza umbral_casi_constante y los dependientes constantes. Tampoco se informa un par cuyo determinante no acierta más filas que la moda del dependiente sin agrupar: con un dependiente casi constante —un estado que vale "ACTIVO" en el 99,7 % de las filas— cualquier columna alcanzaría el umbral sin aportar nada. El valor predeterminado de umbral = 0.995 exige que como máximo 5 de cada 1.000 filas contradigan la relación. Los ausentes de cualquiera de las dos columnas no integran el cálculo. El descarte ocurre antes de construir agrupaciones. El valor predeterminado umbral_casi_clave = 0.8 excluye determinantes con menos de 1,25 filas por valor distinto en promedio: aun si cumplen, suelen describir una casi-clave y no una regla reutilizable. Las columnas compuestas —matrices o arreglos de más de una dimensión— no se toman como determinantes ni dependientes: no son valores escalares por fila.

El costo crece aproximadamente como columnas^2 * filas. max_columnas conserva las primeras columnas analizables, max_comparaciones limita el número de pares columna a columna y muestra aplica una única muestra de filas enteras a toda la tabla, de modo que las relaciones entre filas no se rompen. La muestra parte la tabla en tantos tramos consecutivos como filas pide y toma una de cada tramo, en una posición que sale de un hash determinista del número de tramo: es la misma en cada corrida, no usa el generador de números aleatorios ni su estado, y no se alinea con datos periódicos. max_trabajo acota el producto entre pares posibles y filas analizadas. Es un presupuesto estimado, no una medición de segundos: permite que el tope efectivo de pares baje cuando la tabla tiene muchas filas. Los atributos del resultado declaran todos los recortes.

Una muestra conserva cada fila entera, pero no la cantidad de filas por valor: sobre datos agrupados en filas consecutivas, la muestra toma a lo sumo una fila de cada tramo y el determinante parece una clave. Por eso los descartes por casi-clave y casi-constante se verifican sobre la columna completa; si sólo la muestra los produjo, el motivo es casi_clave_solo_en_muestra o casi_constante_solo_en_muestra, la columna sigue fuera —evaluarla sobre esa muestra daría dependencias exactas sin evidencia— y perfilar() lo declara en cobertura_diagnosticos.

Lo que la muestra encuentra se recalcula sobre la tabla completa: cada dependencia publicada sale con el cumplimiento, los grupos, las violaciones y la evidencia de todas las filas, y la que ya no alcanza el criterio no se publica. Una muestra puede mostrar exacta una relación que la tabla contradice —una muestra sistemática, a paso fijo, se alineaba con un panel mensual cuyo tamaño hacía que el paso cayera justo en el período, y tomaba siempre los mismos meses—. El recálculo cuesta una pasada por dependencia publicada y entra en max_trabajo; las que no entran conservan las cifras de la muestra, y perfilar() lo declara.

See Also

detectar_claves(), proponer_modelo(), perfilar()

Examples

Run this code
datos <- data.frame(
  codigo = rep(1:3, each = 4),
  descripcion = rep(c("A", "B", "C"), each = 4),
  valor = seq_len(12)
)
detectar_dependencias(datos, min_observaciones = 4)

Run the code above in your browser using DataLab