Learn R Programming

lupa (version 0.1.1)

comparar_perfiles: Comparar dos perfiles y detectar deriva estructural

Description

Compara entregas sin exigir que tengan las mismas columnas. Devuelve cambios de esquema, tipos, faltantes, cardinalidad, rango, patrones y hallazgos como un objeto de datos filtrable.

Usage

comparar_perfiles(anterior, actual, umbral_cambio = 0.05, umbral_error = 0.2)

Value

Data frame deriva_perfil. severidad usa el factor ordenado ok < sospechoso < error; los cambios menores permanecen como filas ok

para que la serie sea exportable sin ocultar diferencias. El atributo campos_protegidos declara lo que no se comparó porque la protección de datos personales lo tapa: un data frame con columna, campo y lado —anterior o actual—, la misma forma que usa comparar_equivalencia(). El único campo que puede figurar es rango. Está siempre, vacío si no hay nada que declarar, y rbind() une los de todas las derivas.

Arguments

anterior, actual

Objetos producidos por perfilar().

umbral_cambio

Diferencia mínima para considerar significativo un cambio de proporción, cardinalidad o rango relativo. Cinco puntos porcentuales evita elevar variaciones pequeñas a hallazgo.

umbral_error

Diferencia a partir de la cual un aumento de faltantes o un cambio de patrón —uno que aparece, desaparece o cambia de proporción— se clasifica como error.

Details

Los patrones se comparan sobre el resumen acotado que conserva cada perfil, no sobre los valores originales ni una distribución completa. Si las dos corridas usaron configuraciones de patrones diferentes, se informa un error de comparabilidad y esa parte de la comparación se omite.

Un perfil DBI con meta$origen_dbi$muestreo o con meta$alcance$universo_id = "muestra_motor" describe una muestra de la tabla fuente. Si uno de los perfiles es de ese tipo, las filas se comparan con filas_totales_fuente cuando está disponible, pero rangos, cardinalidades, patrones y hallazgos no se interpretan como cambios de la tabla completa. La proporción de faltantes sí se estima sobre las filas observadas y se compara; los extremos, las cardinalidades y los conteos absolutos que dependen del universo completo quedan fuera. La salida agrega una fila muestra / no_comparable y deja fuera esos aspectos; una muestra distinta no se convierte en un cambio ni en un hallazgo resuelto.

Los nombres de columnas y las configuraciones que contienen texto del usuario se comparan por sus bytes, no por la marca de codificación ni por la intercalación del locale.

Eso alcanza mientras los bytes lleguen intactos, y hay un caso en que no llegan y no depende de este paquete: el formato RDS 3 —el de saveRDS() por omisión— anota la codificación nativa de quien escribe, y al leer traduce desde ella el texto que no declara la suya. Un perfil guardado bajo LC_CTYPE=C y releído bajo otro locale puede volver con el texto cambiado; en Windows el cambio es silencioso, porque ahí la conversión no falla.

Cuando eso pasa, el perfil releído está alterado, y conviene saber qué alcanza a ver esta función. Compara las propiedades medidas de cada columna, los hallazgos, el alcance del resumen y las configuraciones declaradas —no los valores uno por uno—: la columna aspecto del resultado nombra, fila por fila, qué se comparó, y es la enumeración viva. Un cambio de texto que no altera ninguna propiedad medida no aparece: por ejemplo, si la moda de una columna pasa de "Basico" a "Casico" —mismo largo, misma forma de patrón, mismos conteos—, la comparación devuelve cero filas. Por eso el remedio ante una relectura sospechosa no es confiar en la comparación para detectarla.

El remedio es una línea, saveRDS(perfil, archivo, version = 2), porque ese formato no anota codificación nativa y por lo tanto no traduce nada. La persistencia propia del paquete —guardar_historico() y guardar_analisis()— ya lo usa. Las claves internas que agrupan hallazgos también se normalizan por bytes; por eso dos perfiles idénticos no emiten avisos espurios bajo C.

Que la moda no se compare es una decisión, no un pendiente: la moda es un valor, no una propiedad medida, y cambia con cualquier corrimiento normal de los datos, así que compararla llenaría la deriva de filas que no son deterioro. Quien necesite detectar una relectura corrompida tiene el remedio de una línea que está dos párrafos más abajo, que la evita en lugar de detectarla.

Entre las propiedades comparadas está la unidad en la que la columna publica sus cifras, con la misma severidad que un cambio de tipo: dos entregas con los mismos valores y la unidad cambiada de m a km son un cambio real —la cifra dejó de significar lo mismo— y la comparación lo informa en una fila. Un perfil guardado por una versión anterior del paquete, que no registra la unidad, no hace mentir la comparación: esa parte se declara no comparable, como el resto de los campos ausentes.

El rango se compara por los valores de sus extremos, no por su texto impreso: un cambio chico sale como fila ok y uno que alcanza umbral_cambio —medido contra el ancho del rango anterior— como sospechoso, sin que options(scipen) ni digits muevan el veredicto. Cuando el perfil conserva los extremos exactos de un entero que no entra en un doble —un integer64 por encima de 2^53, o un entero escrito como texto—, esos extremos se comparan con aritmética exacta. Los números se publican con la escritura más corta que vuelve al valor, así que dos extremos distintos nunca se imprimen iguales; la marca decimal sigue a OutDec, y con coma decimal los extremos se separan con punto y coma ([1,5; 3]).

Una columna protegida no publica su rango, y la comparación tampoco lo compara: lo declara en el atributo campos_protegidos, con la misma regla que comparar_equivalencia(). Si la protección de una columna cambia entre las corridas con la misma política —por ejemplo, porque la proporción de documentos válidos cruzó el umbral de verificación—, el cambio se informa con una fila propia, aspecto = "proteccion" y severidad sospechoso, en lugar de un cambio de rango que no ocurrió en los datos. Si lo que cambió es la política entera, ya lo dice la fila configuracion_proteccion y no se repite por columna.

Además de los patrones que aparecen y desaparecen, se informa el cambio de proporción de un patrón que sigue en el resumen cuando alcanza umbral_cambio: sospechoso, o error desde umbral_error, en las dos direcciones. Que los cambios menores no generen fila es una decisión, a diferencia de los faltantes: serían una fila por patrón en cada entrega. Si el resumen de un lado estaba lleno —la columna tenía más formas que max_patrones—, un patrón que falta en él pudo quedar por debajo del corte, y no se afirma que apareció o desapareció: la fila dice no_comparable, con severidad ok, salvo que el cambio que sí se puede garantizar —contra la menor proporción que guardaba ese resumen— alcance el umbral; entonces dice modificado y delta es esa cota.

La cardinalidad no tiene una dirección buena: que caiga la tasa de valores distintos de un identificador es un deterioro, y que suba la de una columna de categorías también. Por decisión, un cambio significativo de cardinalidad es sospechoso en los dos sentidos. Los faltantes sí la tienen: que bajen es una mejora y queda ok.

Las columnas que aparecen o desaparecen generan cambios estructurales de severidad error, pero no impiden comparar las columnas compartidas. Un hallazgo de una columna retirada no se presenta como resuelto.

Un hallazgo que ya no aparece se informa como resuelto sólo si el diagnóstico volvió a evaluarse. Si el perfil nuevo lo declinó —y lo dice en su cobertura_diagnosticos—, el cambio se informa como no_evaluado con severidad sospechoso, porque no se sabe si el hallazgo sigue: dejar de mirar no es lo mismo que arreglar. Lo mismo si el perfil nuevo apagó el diagnóstico con su argumento o retiró la declaración que lo habilita, cosa que se lee en meta: casi_duplicados_vocabulario = FALSE, ausencia_estructural = FALSE, variantes_equifrecuentes_vocabulario = FALSE, una clave retirada o declarada sobre otras columnas, una columna retirada de columnas_sin_ceros, columnas_no_negativas, columnas_personales o aplicabilidad, y duplicados_aproximados apagado o corrido sobre otras columnas —lo que corrió queda en perfil$duplicados_aproximados; si corrió sobre las mismas columnas con otros parámetros, la fila configuracion_duplicados_aproximados lo declara—; la descripción nombra el argumento. Al revés, un hallazgo que aparece porque el perfil nuevo encendió o declaró lo que lo habilita sigue saliendo aparecido, y su descripción dice que el anterior no lo evaluaba. Un hallazgo de varias columnas —un grupo de columnas duplicadas, una relación entre columnas— se compara por el contenido de sus columnas, no por sus posiciones en la tabla: reordenar columnas no hace aparecer ni desaparecer un grupo. Sólo no se presenta como resuelto si alguna de sus columnas desapareció. Un grupo de columnas duplicadas que se separa sólo porque una de sus columnas cambió de tipo declarado —un entero que llega como doble— se publica no_evaluado, con severidad sospechoso: el diagnóstico sólo iguala columnas del mismo tipo y no volvió a compararlas, salvo que el perfil nuevo ya muestre valores distintos (otros faltantes, otra cantidad de distintos, otro mínimo o máximo); y uno que aparece sólo por un cambio de tipo sale aparecido con esa causa en la descripción. Si el tope de un diagnóstico deja un hallazgo fuera del alcance nuevo, se publica no_evaluado con el motivo de cobertura. La proximidad de vocabulario también puede dejar pares con frecuencias parejas bajo su piso de asimetría sin emitir un hallazgo; esa cobertura parcial se conserva como no_evaluado al comparar, aunque el diagnóstico haya recorrido todos sus valores. Cada argumento de perfilar() tiene su lugar en la comparación: habilita un diagnóstico, es una vara —su cambio se declara en la fila configuracion_umbrales, que incluye los umbrales de las relaciones de orden y aritméticas entre columnas, los del vocabulario y datos_personales_permitidos, validadores_personales, umbral_documento_verificado y muestra_validadores—, tiene su propia fila de configuración, acota el trabajo y lo declara en cobertura_diagnosticos, o no cambia los hallazgos. Una vara que uno de los dos perfiles no registra —un perfil de una versión anterior— no se compara.

Los hallazgos que cuentan filas de la tabla y no pertenecen a una columna concreta tampoco se declaran resueltos si aparecieron o desaparecieron columnas entre las corridas: cambio el universo que define esas filas. En ese caso se publica no_comparable, con severidad error, y se nombran las columnas cambiadas. Con las mismas columnas, el veredicto resuelto se conserva.

See Also

perfilar(), detectar_deriva_calidad(), reportar(), comparar_equivalencia()

Examples

Run this code
anterior <- perfilar(data.frame(codigo = c("AA1", "AA2")),
                     fecha = as.POSIXct("2026-01-01", tz = "UTC"))
actual <- perfilar(data.frame(codigo = c("AA1", "B-2"), nueva = 1:2),
                   fecha = as.POSIXct("2026-02-01", tz = "UTC"))
comparar_perfiles(anterior, actual)

Run the code above in your browser using DataLab