Construye las firmas y calcula el pronóstico de candidatos sin recorrer las
cubetas ni comparar los pares. Es una operación deliberada: la medición del
reloj queda en el resultado de esta función y no es necesaria para obtener
alcance reproducible en detectar_duplicados_aproximados().
estimar_costo(
datos,
columnas = NULL,
metodo = "jw",
umbral = 0.1,
p = 0.1,
muestra = Inf,
max_pares = 50000000L,
max_resultados = 100L,
normalizar = NULL,
perfil = NULL,
proteger_datos_personales = FALSE,
bloque = 1000L,
estrategia = "auto",
lsh_bandas = 12L,
lsh_filas = 3L,
lsh_q = 3L,
lsh_max_cubeta = 1000L,
lsh_muestra_estimacion = 400000L,
presupuesto_pares = Inf,
bloquear_por = NULL,
lotes = FALSE,
tamano_lote = 1000L,
directorio_lotes = NULL,
nucleos = getOption("lupa.nucleos", 2L),
max_largo_valor = .MAX_LARGO_VALOR_CASI_DUPLICADOS
)Lista de clase estimacion_costo_lupa con los campos de la
estimación, alcance, disponible y razon. En el camino exacto,
alcance declara además la corrida que se está estimando:
modo_comparacion es el mismo que publicará
detectar_duplicados_aproximados() con esos argumentos —exhaustiva_por_bloques
o muestreada_por_bloques—, y filas_previstas, filas_totales y
estrategia_prevista dicen sobre cuántas filas se va a comparar y con qué
selección. Una estimación que anunciara un recorrido exhaustivo sobre una
corrida que va a muestrear no serviría para decidir.
Tabla con una fila por entidad observada.
Columnas atomicas a combinar. NULL aplica la seleccion
automatica descrita arriba; no se incluyen matrices ni listas. El orden
forma parte de la comparación: los valores de cada fila se miden
concatenados en el orden declarado, así que c("nombre", "domicilio") y
c("domicilio", "nombre") son dos comparaciones distintas y pueden
publicar pares distintos con el mismo umbral —medido: 6 pares contra 10
sobre las mismas cinco filas—. Con NULL, el orden es el que tienen las
columnas en datos. El objeto publica en columnas el vector que usó, en
ese orden, así que el resultado se puede rehacer; declararlo a mano lo
vuelve independiente de cómo estén ordenadas las columnas del archivo.
Cómo se concatena, para poder rehacer la distancia. Los valores se unen
con " | "; dentro de cada valor, cada barra invertida \ se escribe \\
y cada | se escribe \|. Los escapes no son cosméticos: sin el de |,
c1 = "x | y", c2 = "z" y c1 = "x", c2 = "y | z" producirían la misma
cadena y dos filas que no comparten ningún valor saldrían
exacto_normalizado a distancia 0; el de \ es el que deja leer ese
\| de una sola manera, y
el que distingue un valor declarado bytes del literal de su escape. Con
los dos, la distancia publicada de una comparación de varias columnas se
rehace así —y la de una sola, con el mismo escapar() y sin pegar—:
escapar <- function(v) {
gsub("|", "\\|", gsub("\\", "\\\\", v, fixed = TRUE), fixed = TRUE)
}
fila <- function(i) paste(escapar(datos$c1[i]), escapar(datos$c2[i]), sep = " | ")
stringdist::stringdist(fila(1), fila(2), method = "jw", p = 0.1)
Fuera de esos dos escapes, el texto corriente se compara tal cual. Un valor
con marca bytes entra con cada byte alto escrito \xHH —su clave de
bytes; esas barras son del escape y no se duplican—, y un mismo texto en
latin1 y en UTF-8 entra igual. Un doble entra
con la escritura más corta que vuelve a su valor: la de as.character()
cuando sus 15 cifras alcanzan —0.1 es "0.1" y 1e15, "1e+15"— y 16 o
17 cuando no —1e15 + 1 es "1000000000000001" y 0.1 + 0.2,
"0.30000000000000004"—, así que dos números que R distingue no se comparan
como el mismo texto. La evidencia los cita con esa misma escritura.
Si dos columnas de texto tienen el mismo nombre, la comparación no corre:
identifica las columnas por nombre y no podría decir cuál compara. No se
compara un subconjunto —sacar una columna cambia el significado de la
comparación—: el objeto sale sin pares, con el motivo en razon.
Medida admitida por stringdist::stringdistmatrix(). Por
defecto, "jw".
Distancia maxima para informar un par. Por defecto 0.10.
Factor de prefijo de Jaro--Winkler, entre 0 y 0.25. Por defecto
0.1; sólo tiene efecto con metodo = "jw".
Máximo de filas candidatas. En el camino exacto queda sujeto
a max_pares; con LSH, Inf usa todas las filas.
Máximo de pares comparados en el camino exacto. Por defecto
50000000, que permite recorrer exhaustivamente hasta 10.000 filas con el
método y el bloque predeterminados; se puede reducir para limitar el tiempo.
En LSH el alcance se expresa con candidatos y cubetas, por lo que este
límite no se usa para recortar filas; el resultado lo marca explícitamente.
Maximo de pares devueltos. Por defecto 100. Se
conservan los mas cercanos; entre pares empatados en distancia, el
desempate usa el orden canonico de los valores y no la posicion de las
filas, de modo que reordenar la tabla no cambia que pares sobreviven. Un
corte que cae dentro de un empate deja afuera pares igual de cercanos, y eso
se declara en alcance$corte_en_empate.
Perfil de comparación. TRUE conserva el perfil
predeterminado, FALSE desactiva sus pasos configurables, "amplio"
activa puntuación, ligaduras y ancho, y normalizacion() permite declarar
cada paso. Una lista nombrada puede resolver perfiles por columna. NULL
hereda el perfil guardado en perfil; si no se recibe uno, usa TRUE.
La normalización cambia sólo la representación usada para comparar, no los
datos guardados. El umbral se aplica sobre esa cadena normalizada. La
descomposición canónica no es un paso configurable: corre también con
FALSE, y es lo que hace que dos escrituras del mismo texto —café
precompuesto y café con acento combinante— sean el mismo texto.
Como la distancia se mide sobre esa forma, un acento cuenta como un
carácter aparte: con normalizar = FALSE, café y cafe distan 0.04
—y entran en un umbral de 0.1—, mientras la misma distancia sobre las
cadenas tal como se guardaron daría 0.117. Para reproducir un número
publicado hay que descomponer primero.
Hasta dónde llega esa descomposición. La tabla que usa lupa cubre el
subconjunto latino —el mismo límite que declara normalizacion()—, así que
fuera de él dos escrituras canónicamente equivalentes no colapsan: medido,
el mismo nombre griego en NFC y en NFD sale aproximado a 0.124 donde café
precompuesto y descompuesto salen exacto_normalizado a 0. No es un
descuido de la comparación: es el alcance de la tabla, y se dice acá porque
afecta la receta de reproducción. Para un texto fuera del subconjunto latino,
el número publicado se rehace sin descomponer, sobre los valores tal como
están guardados. Si necesita que colapsen, normalice la entrada a una sola
forma antes de comparar —por ejemplo con stringi::stri_trans_nfc()—. El
informe de fusiones sólo se calcula cuando algún paso configurable está
activo; con FALSE se omite. Si se entrega perfil, se reutiliza su
informe ya calculado.
Perfil de los mismos datos para reutilizar su clasificacion de datos personales y no volver a inferirla.
Si la evidencia de columnas protegidas se
reemplaza por [valor protegido]. La supresion queda indicada en cada par.
FALSE por omision.
Cantidad de filas por tesela de comparación. Por defecto
1000; controla la memoria temporal, no el número de pares comparados.
Estrategia de comparación: "auto" (por omisión),
"teselas", "muestra" o "lsh". Con "auto", MinHash/LSH
se activa exactamente cuando hay más de 10.000 filas, muestra = Inf y
max_pares es Inf o es mayor o igual que 50.000.000. Si falla
cualquiera de esas condiciones, se conserva el camino exacto por teselas o el
muestreado que corresponda; "lsh" lo fuerza.
Número de bandas del esquema LSH. Por defecto, 12.
Número de filas de firma por banda. Por defecto, 3.
Longitud de los q-gramas usados para MinHash. Por defecto, 3.
Umbral a partir del cual una cubeta se considera grande y se procesa por el mismo troceo acotado del camino exhaustivo. No se descartan pares por este umbral; el alcance informa cuántas cubetas y cuántos pares se procesaron de esta forma. Por defecto, 1000.
Cantidad máxima de pares de filas usados para
estimar la proporción de candidatos, el tiempo del camino LSH y, si hay
bloquear_por, la pérdida de candidatos del bloqueo. La muestra es
interna, reproducible y su tamaño efectivo queda en alcance. Por defecto
se intentan 400.000 pares.
Se acepta por simetría de la firma y no aborta
aquí: estimar el costo es justamente lo que se hace antes de fijar un
presupuesto, así que interrumpir la estimación por superarlo dejaría sin
respuesta la pregunta que motivó la llamada. Quien aborta es
detectar_duplicados_aproximados(), con el número que devuelve esta
función.
Nombre de una columna declarada por el usuario para
restringir la comparación a filas con la misma clave. La clave no tiene
significado incorporado en lupa; sus tamaños, ausentes y pares que
quedan fuera se registran en alcance. Los NA forman un bloque propio.
Se acepta por simetría de la firma, pero la estimación no escribe parciales ni modifica el directorio indicado.
Se acepta por simetría; no cambia el pronóstico.
Se acepta por simetría y no se crea ni se usa al estimar.
Cantidad máxima de hilos que stringdist puede usar. Por
defecto es getOption("lupa.nucleos", 2L); NULL usa esa misma opción y
un valor mayor que los núcleos disponibles se limita de forma segura. El
resultado no depende de esta cantidad, pero el tiempo sí. El valor efectivo
queda declarado en alcance$nucleos_usados.
Maximo de caracteres permitido en cada valor de las
columnas combinadas, medido sobre la cadena que de verdad se compara:
las columnas ya unidas y ya normalizadas. Las dos mitades importan. Dos
columnas de 9.000 caracteres estan las dos por debajo de un tope de 10.000 y
llegan a 18.003 una vez unidas; y la normalizacion amplio expande
ligaduras tipograficas -la de f-f-l es un solo caracter que se convierte en
tres-, asi que un valor puede estar por debajo del tope guardado y por
encima del comparado. Por defecto es 10000, umbral elegido porque la distancia
normalizada deja de distinguir de forma estable una diferencia local de
muchas diferencias en textos largos. Si una columna supera el tope, la
combinacion completa se declara fuera de alcance en
alcance$columnas_excluidas_largo, y alcance$largo_maximo publica el
largo comparado; no se recortan valores en silencio. Con el tope en Inf no
se mide ningun largo y largo_maximo vale NA, no cero.
Inf quita el tope.
En el camino LSH, candidatos_previstos es una estimación reproducible a
partir de una muestra de firmas. tiempo_estimado_segundos es una referencia
de la medida aislada y no incluye firmas, cubetas ni troceo; sus campos de reloj
tienen tiempo_determinista = FALSE. Con bloquear_por, los pares entre
bloques no entran en el pronóstico y la pérdida estructural y estimada queda
en alcance. En el camino exacto, candidatos_previstos es la cantidad de
pares que se compararán, sujeta a muestra, max_pares y bloquear_por.
La función no escribe archivos ni modifica el estado del generador de R.
detectar_duplicados_aproximados()
datos <- data.frame(
nombre = c("Ana Perez", "Ana Peres", "Luis Diaz"),
grupo = c("A", "A", "B")
)
if (requireNamespace("stringdist", quietly = TRUE)) {
costo <- estimar_costo(datos, columnas = "nombre", estrategia = "lsh")
costo$candidatos_previstos
}
Run the code above in your browser using DataLab