¿Qué significa validar un modelo con datos que no existían cuando se congeló?

Validación prospectiva significa rendir un modelo contra datos que no existían cuando el modelo se congeló. Es la única evaluación que un número de set de entrenamiento no puede adornar, y es caro: Rosetta Quantum congeló un detector de bolsillos alostéricos el 7 de septiembre de 2026 con su código hasheado byte a byte, y cuatro corridas semanales después el marcador prospectivo marca cinco casos — 3 de 5 bajo la regla de rendición en vigor, 2 de 5 bajo una lectura más estricta de la misma evidencia. Los intervalos de ambas lecturas siguen conteniendo nuestra propia tasa retrospectiva de 32,6 %, así que al mes la respuesta honesta es que el número todavía no distingue habilidad de una moneda al aire. Rosetta lo publica igual cada semana, incluida la semana en que la corrida no arrancó.

Estado a: 2 de octubre de 2026.

¿Qué significa exactamente validación prospectiva?

Significa que los datos de prueba no existían cuando el modelo se congeló. Un modelo se pinea — pesos, código y un hash de ambos — en una marca de tiempo declarada; después llegan datos nuevos de una fuente que nadie de los involucrados controla, y el modelo se rinde contra ellos sin ser tocado. El orden es todo el mecanismo: como las respuestas no estaban en el mundo al momento de congelar, ninguna cantidad de ajuste accidental o deliberado pudo haber llegado a ellas. Todo lo demás — particiones retenidas, validación cruzada, un set de prueba guardado bajo llave — te pide confiar en que una frontera se respetó. La rendición prospectiva elimina la necesidad de esa confianza y la reemplaza por una marca de tiempo.

El diseño no es nuevo, y vale nombrar el precedente honesto. CASP, el Critical Assessment of Structure Prediction, corre así desde CASP1 en 1994: los organizadores publican secuencias cuyas estructuras todavía no son públicas, se recolectan las predicciones y, en palabras de los propios organizadores, los modelos se «evaluated as the experimental coordinates become available» (Prediction Center). CASP16, en 2024, recolectó más de 80.000 modelos de cerca de 100 grupos sobre 300 targets. La razón por la que el campo construyó esa maquinaria es la razón por la que Rosetta Quantum la usa: en predicción de estructura y función, un número retrospectivo ya no tiene credibilidad.

¿Por qué un número de entrenamiento siempre adorna al modelo?

Porque las formas de inflar un número son numerosas, están bien catalogadas y son casi todas invisibles en el resultado publicado. La encuesta de referencia es la de Kapoor y Narayanan, que revisaron campos que habían adoptado métodos de machine learning y encontraron «17 fields where leakage has been found, collectively affecting 294 papers and, in some cases, leading to wildly overoptimistic conclusions», y que organizan el problema en una taxonomía de ocho tipos distintos de fuga (Patterns 4(9), 100804, ago-2023). Su propio estudio de reproducibilidad es la parte con la que hay que quedarse un rato: en predicción de guerra civil, donde se creía que los modelos complejos superaban por lejos a la estadística tradicional, corregir los errores dejó a los modelos complejos sin rendir mejor que una regresión logística de décadas de antigüedad.

Hay que mirar qué cubre esa lista y qué no. Varios de los ocho tipos los arregla de plano congelar un modelo antes de que los datos existan: no puede haber contaminación entre entrenamiento y prueba cuando el set de prueba todavía no está escrito. Otros quedan intactos. Un modelo puede estar libre de fuga y seguir acertando por la razón equivocada, que es el fallo que documentamos en nuestra propia casa: los bolsillos predichos por nuestro detector caían en el percentil 11 de distancia al sitio activo mientras los sitios alostéricos reales viven en el 28, una separación significativa a p menor que 1e-5, lo que significa que un bolsillo podía parecer correcto en buena medida por estar cerca del centro catalítico (nuestro reporte del sesgo de periferia). Ningún calendario de liberación arregla eso. Un nulo emparejado por distancia sí.

¿Qué compra de verdad congelar un modelo con un hash?

Compra la capacidad de probar, después, que la cosa que se rindió esta semana es la cosa que se congeló. Rosetta Quantum congeló el detector el 7 de septiembre de 2026: 86 proteínas, 10 variables, sin anotaciones, con los pesos y un manifiesto de checksums de código reducidos a un solo hash que empieza en 08ad337d. Cada corrida semanal re-materializa el código y recomputa ese hash antes de correr cualquier ciencia, y si no calza byte a byte, la corrida se detiene.

Esa compuerta no es decorativa. El 14 de septiembre disparó: un archivo llegó un byte más largo que el original congelado, el hash no reprodujo y la corrida abortó antes de rendir nada — un defecto localizado después en un solo espacio insertado en el offset 20377 de la copia de transporte. El marcador se mantuvo donde estaba, el fallo se publicó como el reporte de esa semana, y no se ofreció ninguna predicción para un modelo que no se podía demostrar que fuera el congelado. Esta es la disciplina que nuestro post anterior sobre reproducibilidad radical defendía, aplicada a nosotros mismos en una semana en que nos costó un punto de datos.

¿Qué ha medido hasta ahora nuestro propio marcador prospectivo?

Cinco casos en cuatro corridas semanales, con una tasa de acierto acumulada que no se puede enunciar como un solo número. La tabla de abajo es el registro completo, semana por semana, con el run-report sellado detrás de cada fila.

Dos cosas de esa tabla merecen leerse despacio. La primera es el costo del diseño. En la semana del 28 de septiembre el archivo público liberó 190 entradas en la ventana; exactamente una sobrevivió los filtros y llegó a rendirse. La validación prospectiva es flaca por construcción, y la razón es aritmética: el Protein Data Bank es grande y sigue creciendo — 250.441 entradas al 6 de marzo de 2026, con aproximadamente 275 estructuras nuevas liberadas por semana en promedio en 2022 (wwPDB) — pero el subconjunto que además no es de organismo no modelo, tiene un ligando de molécula pequeña, trae accesión de UniProt y tiene un sitio activo anotado con el ligando genuinamente distal es una fracción chica de eso.

La segunda es que el caso de W40 no tiene una rendición correcta única. La entrada traía tres ligandos y la verdad de base no es única: el bolsillo predicho solapa el sitio del hemo A en cuatro residuos, y falla por completo el centro Cu-A y el sitio del cianato. Bajo la regla en vigor el caso cuenta como acierto y el acumulado es 3 de 5; leído con el hemo tratado como el grupo prostético catalítico que es, la respuesta pasa a ser el sitio del cianato y el acumulado es 2 de 5. Las dos lecturas se publicaron una al lado de la otra, ninguna se declaró oficial, y el registro es append-only, así que las semanas anteriores no se re-rindieron. La lección es sobre reglas, no sobre suerte: una regla de rendición que se puede discutir después del hecho es una regla que no se especificó con suficiente precisión antes.

¿Por qué publicar un marcador que todavía no puede concluir nada?

Porque la alternativa es publicarlo solo cuando diga algo favorable, y ese es justamente el comportamiento que todo el diseño existe para prevenir. Los números actuales no distinguen nada: 3 de 5 lleva un intervalo de Wilson 95 % de aproximadamente 23–88 %, 2 de 5 aproximadamente 12–77 %, y los dos corchetes contienen nuestra propia tasa retrospectiva leave-one-protein-out de 32,6 %. Un marcador de cinco casos es compatible con un detector genuinamente mejor que su estimación retrospectiva y con uno peor. No hay lectura de n=5 que sostenga un claim, y Rosetta Quantum no va a fabricar uno esperando una buena semana.

Publicar las semanas vacías y las ambiguas es también lo que hace que la eventual semana no vacía valga algo. Un marcador que solo aparece cuando la noticia es buena es un efecto de selección con logo — que es exactamente el patrón que nuestro post sobre cómo saber si un claim de ventaja es creíble le enseña al lector a descontar. El compromiso, por lo tanto, es estructural y corre hacia adelante: la rendición continuará cada semana sobre lo que el archivo libere, cada semana se sellará produzca caso o no, y el intervalo se angostará solo a medida que los casos se acumulen. No anunciaremos un resultado hasta que el intervalo excluya la tasa retrospectiva.

¿Qué sigue sin arreglar un diseño prospectivo?

Cuatro cosas, y vale nombrarlas con precisión para que nadie lea una marca de tiempo como garantía de verdad.

El resumen honesto de nuestra propia posición es que la congelación y el hash cierran las dos primeras filas, nuestro nulo emparejado por distancia aborda la tercera solo porque lo construimos después de encontrar el sesgo nosotros mismos, y las dos últimas siguen abiertas. Ese es el estado del método en Rosetta Quantum a la fecha que encabeza esta página.

Qué no sabemos

No sabemos si este detector es mejor que el azar; cinco casos no pueden responderlo, y no afirmaremos lo contrario hasta que el intervalo lo diga. No sabemos cuántas semanas necesitará el intervalo para excluir el 32,6 % — eso depende de cuántas estructuras elegibles libere el archivo, que está fuera de nuestro control y que las cuatro semanas hasta ahora sugieren que será lento. No sabemos si la lectura más estricta del caso de W40 o la regla en vigor es la mejor regla; ambas están publicadas y la elección quedó diferida, no escondida. Y no sabemos que nuestros filtros sean imparciales: los escribió la misma casa que escribió el detector, que es un conflicto que una marca de tiempo prospectiva no resuelve. Un negativo de este detector no autoriza a nadie a dejar de mirar un sitio — la propia tasa de acierto retrospectiva del detector es aproximadamente un tercio, y un modelo que se equivoca dos de cada tres veces no puede descartar nada.

Fuentes

• Prediction Center — CASP16, evaluación ciega de predicción de estructura (primer experimento 1994)
• Kapoor & Narayanan — Leakage and the reproducibility crisis in machine-learning-based science (Patterns 4(9), 100804, ago-2023)
• wwPDB — el archivo PDB alcanza 250.441 entradas (6-mar-2026)
• Wilson, E. B. — Probable inference, the law of succession, and statistical inference (JASA 22(158), 209–212, 1927)
• Rosetta Quantum — run-report prospectivo W37 (congelación, abre el marcador)
• Rosetta Quantum — run-report prospectivo W38 (corrida abortada en paso 0)
• Rosetta Quantum — run-report prospectivo W39 (primera medición, 2/4)
• Rosetta Quantum — run-report prospectivo W40 (un caso, dos lecturas)
• Rosetta Quantum — ¿Por qué un detector puede parecer bueno solo por la distancia al sitio activo?
• Rosetta Quantum — ¿Qué significa reproducibilidad radical en benchmarking?
• Rosetta Quantum — ¿Por qué un baseline clásico débil arruina un benchmark?
• Rosetta Quantum — ¿Cómo saber si un claim de ventaja es creíble?
• Rosetta Quantum — ¿Cómo leer un paper cuántico de arXiv sin ser físico?
• Rosetta Quantum — ¿Qué es un advantaged solve?

Rosetta Quantum publica veredictos con datos crudos reproducibles. Esto es contenido educativo, no un claim de producto.