¿Qué es un desafío ciego y por qué es el juez más duro de un modelo?

TL;DR (estado al 15 de octubre de 2026): un desafío ciego es una prueba donde un juez externo retiene las respuestas hasta que todas las predicciones fueron enviadas. Es el juez más duro que puede enfrentar un modelo: el que puntúa no es el autor, las reglas se fijan de antemano y la clave de respuestas no existe en público, así que no hay nada que sobreajustar. La predicción de estructura de proteínas tiene esta institución desde 1994 — CASP — y ahí fue donde AlphaFold2 ganó su crédito, con una mediana de GDT de 92,4 en CASP14 en 2020 (deepmind.google). El 14 de octubre de 2026, OpenBind lanzó el primer desafío ciego para complejos proteína–ligando: 400 compuestos nunca vistos contra la proteasa NS2B-NS3 del virus Zika, con envíos finales hasta el 16 de diciembre de 2026 a las 23:59 UTC (blopig.com). La computación cuántica no tiene un CASP. Rosetta Quantum mantiene un ledger de claims cuánticos precisamente porque ese juez falta — y este post dice sin vueltas dónde quedan los propios sellos de Rosetta en la misma escalera: en el peldaño más bajo.

¿Qué hace «ciego» a un juez?

Un juez es ciego cuando puntúa predicciones contra respuestas que no existían en público mientras las predicciones se hacían. Esa sola propiedad mata los dos modos de falla que corrompen la mayoría de las evaluaciones de modelos: entrenar sobre el set de prueba (la respuesta se filtró al modelo) y el reporte selectivo (el autor publica las victorias y archiva las derrotas). Rosetta Quantum usa una escalera de cuatro peldaños para clasificar qué tan duro es un juez, y los peldaños no son intercambiables.

En el peldaño 1 está el claim auto-sellado: el autor congela reglas, datos y un hash antes de que el desenlace se conozca, y después se puntúa a sí mismo. Los sellos PREDICTION de Rosetta — la apuesta de Q-Day del 9 de octubre y los dos compromisos de sitios alostéricos del 13 de octubre — viven ahí. La congelación es auditable; el que puntúa sigue siendo la casa. En el peldaño 2, el benchmark pre-registrado: las instancias se fijan y publican antes de que corran los participantes, como las 1.264 instancias de optimización de QOBLIB (nuestro explicador, arXiv:2504.03832) — pero cada participante se puntúa solo, en su propio calendario. En el peldaño 3, el auditor externo: un equipo de afuera con acceso y sin interés en el resultado, como la Quantum Benchmarking Initiative de DARPA, que el 7 de octubre de 2026 pasó a 6 empresas a su etapa final (nuestro explicador, darpa.mil) — aunque sus resultados de verificación no son públicos. Y en el peldaño 4, el desafío ciego: juez externo, reglas fijadas antes, respuestas retenidas, ranking público. Cada peldaño por encima del 1 le quita un grado de libertad a la persona que quiere creerle a su propio modelo.

¿Qué probaron 30 años de CASP?

CASP — la evaluación crítica de predicción de estructura de proteínas — corre cada dos años desde 1994 (predictioncenter.org). Su mecanismo es simple y brutal: los experimentalistas depositan estructuras que están por resolverse pero aún no son públicas; los modeladores las predicen; los evaluadores puntúan las predicciones cuando las estructuras reales se liberan. Las respuestas existen, pero los predictores no pueden alcanzarlas.

La escala de la ronda actual muestra cómo se ve una institución ciega madura. CASP16 reunió alrededor de 110 centros de predicción de 22 países trabajando sobre 103 blancos seleccionados, y solo su pista farmacéutica de ligandos puntuó 233 blancos de pose en 34 grupos, más 140 blancos de afinidad en 28 grupos (introducción de CASP16, predictioncenter.org). El resultado más famoso del campo se decidió exactamente en esta arena: la mediana de GDT de 92,4 de AlphaFold2 en CASP14 en 2020 fue un puntaje asignado por evaluadores que tenían respuestas que el modelo nunca vio (deepmind.google; Jumper et al., Nature 596, 2021). Por eso el resultado convenció a los biólogos estructurales como ningún benchmark auto-reportado lo había hecho. El crédito lo emitió el juez, no lo reclamó el autor.

El mismo CASP16 también muestra lo que el juicio ciego revela cuando un campo no está resuelto: la predicción de pose y el ranking de afinidad se evaluaron como categorías separadas precisamente porque acertar la geometría y ordenar la fuerza de unión son problemas distintos — y el segundo sigue siendo mucho más difícil, como lo mide de forma independiente el benchmark de OpenBind de abajo.

¿Qué va a medir exactamente el primer desafío ciego de OpenBind?

OpenBind es un consorcio del Reino Unido — Diamond Light Source con las universidades de Oxford, Washington y Columbia, EMBL-EBI y OMSF — lanzado con hasta £8M del Departamento de Ciencia, Innovación y Tecnología del Reino Unido (anunciado en London Tech Week, junio de 2025; htworld.co.uk), con financiamiento adicional de la Gates Foundation anunciado el 18 de agosto de 2026 (openbind.uk). Su meta declarada: más de 500.000 estructuras y mediciones proteína–ligando validadas experimentalmente en cinco años (htworld.co.uk) — contra un registro público que su propio primer paper describe como escaso. Esa primera liberación, en mayo de 2026, entregó 925 eventos de unión cristalográficos de 699 compuestos sobre una proteasa 2A enteroviral, con afinidad medida para 601 compuestos (bioRxiv 10.64898/2026.08.27.747600).

El desafío ciego anunciado el 14 de octubre de 2026 es el paso del consorcio de dataset a juez (blopig.com, openbind.uk). Las especificaciones, según los organizadores: predecir complejos proteína–ligando para 400 compuestos — de fragmentos a moléculas tipo lead — contra la proteasa NS2B-NS3 del virus Zika; un envío interino el 11 de noviembre de 2026; envíos finales hasta el 16 de diciembre de 2026 a las 23:59 UTC; corrido en sociedad con OpenADMET y el ASAP Discovery Consortium. La vara de aprobación es más estricta que la costumbre del campo: una pose cuenta como correcta con RMSD ≤ 1,5 Å — más ajustado que la convención común de 2 Å — y además debe superar lDDT-PLI > 0,8 y los chequeos de validez de PoseBusters (blopig.com). Las estructuras experimentales de los compuestos se retendrán hasta después del cierre; esa retención es todo el punto.

Un número del propio benchmark de OpenBind explica por qué este juez hace falta. Cuando el consorcio evaluó los métodos actuales sobre su primer dataset, una línea base de peso molecular logró la correlación de Spearman más alta en el ranking de afinidad — una heurística trivial le ganó a los modelos basados en estructura al ordenar los ligandos (bioRxiv 10.64898/2026.08.27.747600). Un campo donde el peso molecular le gana a los modelos es un campo que necesita un marcador ciego, no más victorias auto-reportadas.

¿Por qué a un ledger de verificación cuántica le importa un desafío de descubrimiento de fármacos?

Porque a la computación cuántica le falta esta institución por completo, y el hueco es medible. Al 15 de octubre de 2026, no existe un desafío ciego público para claims de ventaja cuántica: ningún organismo externo retiene instancias de problemas, recibe soluciones cuánticas y clásicas bajo reglas fijadas antes, y publica un ranking. Lo que existe mapea sobre los peldaños bajos de la escalera: métricas auto-reportadas por vendors (Quantum Volume vs Algorithmic Qubits), una suite de benchmark pre-registrada (QOBLIB, peldaño 2), y un auditor externo — la QBI de DARPA, peldaño 3 — cuyos resultados de IV&V son explícitamente no públicos (nuestro explicador, darpa.mil). La señal del veredicto viaja sin los datos. Ese cuarto peldaño ausente es el vacío que el ledger de Rosetta existe para documentar: hasta que lo cuántico tenga un CASP, cada claim de ventaja lo puntúa alguien con interés en el resultado.

La escalera de jueces, con un ejemplo fechado por peldaño:

¿Dónde quedan los propios sellos de Rosetta en esta escalera?

En el peldaño más bajo, y el ledger lo imprime. Los dos sellos PREDICTION de Rosetta congelan sus reglas de puntuación y sus hashes sha256 antes de que los desenlaces sean conocibles, y ambos se comprometen a puntuar solo contra registros públicos — la apuesta de Q-Day contra hitos medidos de hardware (#73), los compromisos de sitios en WEE1 y PPP2R1A contra el registro estructural público con regla HIT/MISS/UNSCORABLE y plazo 2029-12-31 (#79). Eso es una restricción real: las reglas no pueden moverse en silencio después del hecho, que es el modo de falla que hizo que 9 de 15 compromisos retrospectivos perdieran significancia bajo un nulo emparejado en nuestro propio trabajo anterior. Pero una regla congelada no cambia quién lee el marcador. El que puntúa sigue siendo la casa, y un lector debería pesar estos sellos exactamente como dice esta escalera: por encima de un claim sin sellar, por debajo de un benchmark pre-registrado, muy por debajo de un desafío ciego. Validar contra datos que no existían es la dirección del viaje; un juez externo es el destino.

Qué no sabemos

• Cómo se van a leer los resultados de OpenBind. Un desafío, un blanco. Zika NS2B-NS3 es una sola proteasa; lo que gane en diciembre será evidencia sobre este bolsillo, no un veredicto sobre el campo. No sabemos cuántos equipos van a entrar, y las fuentes que accedimos no declaran cuándo ni en qué formato se publicarán los resultados.
• Si la vara de 1,5 Å cambia el comportamiento. Un corte más estricto más los chequeos de PoseBusters está diseñado para filtrar poses físicamente implausibles; si los modelos líderes de cofolding la superan sobre ligandos nunca vistos solo se sabrá después del cierre (blopig.com declara los umbrales, no el desenlace).
• Si lo cuántico consigue un juez de peldaño 4. La QBI de DARPA es la estructura existente más cercana y sus resultados son privados por diseño (darpa.mil). No conocemos ningún desafío ciego público anunciado para claims de ventaja cuántica al momento de escribir.
• Cómo van a puntuar nuestros propios sellos. RQ-PRED-ALLO-001 no es puntuable hasta que el registro estructural público se mueva o venza el plazo 2029-12-31; el sello de Q-Day se revisa semestralmente. Ambos pueden terminar en MISS — eso es lo que los hace predicciones.

Fuentes

• Imrie, F. — «The First OpenBind Blind Challenge», blog OPIG / BLOPIG (octubre 2026) — blopig.com
• OpenBind — sitio oficial y noticias: lanzamiento del desafío, financiamiento de la Gates Foundation, línea de tiempo (accedido 2026-10-15) — openbind.uk
• Consorcio OpenBind — «The first OpenBind release: an open experimental structure–affinity dataset and benchmark», bioRxiv 10.64898/2026.08.27.747600 (2026) — biorxiv.org
• Kryshtafovych, A. — «CASP16 introduction», predictioncenter.org, presentación Day-1 (2025) — predictioncenter.org
• Jumper, J. et al. — «Highly accurate protein structure prediction with AlphaFold», Nature 596, 583–589 (2021) — nature.com
• DeepMind — «AlphaFold: a solution to a 50-year-old grand challenge in biology» — mediana GDT 92,4 en CASP14 (2020) — deepmind.google
• Health Tech World — «UK launches £8m project to build largest drug–protein interaction dataset» (junio 2025) — htworld.co.uk
• Rosetta Quantum — entradas relacionadas del ledger: #79 hipótesis selladas · #73 Q-Day · #66 validación prospectiva · #43 QOBLIB · #80 DARPA QBI · #23 el ledger ausente · #65 nulos emparejados

Rosetta Quantum publica veredictos con datos crudos reproducibles. Esto es contenido educativo, no un claim de producto. Cuántica, medida de forma independiente.