¿Qué es QOBLIB y cómo se usa un benchmark pre-registrado?
¿Qué es QOBLIB?
QOBLIB — la Quantum Optimization Benchmarking Library, subtitulada "The Intractable Decathlon" — es una biblioteca pública de diez clases de problemas de optimización con 1.264 instancias fijas, construida para que solvers cuánticos y clásicos se comparen sobre el mismo examen inamovible (sitio QOBLIB, accedido 2026-09-09). La publicaron en abril de 2025 27 autores (arXiv:2504.03832, v1 2025-04-04, revisada 2025-08-28) de un consorcio de unas 17 organizaciones — Zuse Institute Berlin, TU Berlin, IBM Quantum, Purdue University, E.ON, Forschungszentrum Jülich, University of Southern California, National University of Singapore y una lista de empresas de software cuántico, según el reporte de lanzamiento de Quantum Computing Report (2026-08-15) — y la versión con revisión de pares salió en Nature Computational Science 6, 653–671 (2026). Las instancias, los resultados de referencia y las reglas de envío son abiertos bajo Apache 2.0 en GitHub.
Las diez clases, una línea cada una — todas las filas con fuente en el paper (arXiv:2504.03832):
| # | Clase | Qué pide | Dónde muerde |
|---|---|---|---|
| 01 | Market Split | factibilidad de subset-sum multidimensional | stress test clásico de MIP; dura para solvers bien por debajo de 200 variables binarias |
| 02 | LABS | secuencias binarias de baja autocorrelación | ingeniería de radar y comunicaciones |
| 03 | Descomposición mínima de Birkhoff | escribir una matriz doblemente estocástica con pocas permutaciones | switching de redes, scheduling |
| 04 | Steiner tree packing | rutear árboles disjuntos por un grafo | ruteo de cables en VLSI |
| 05 | Calendarios deportivos | armar un calendario de torneo factible | ligas, planificación de transmisiones |
| 06 | Portafolio multi-período | rebalancear un portafolio en el tiempo con costos | finanzas (ver nuestro veredicto de portafolios) |
| 07 | Conjunto independiente máximo | mayor conjunto de nodos no adyacentes | problemas de grafos; la clase que demuestran los vendors de átomos neutros |
| 08 | Diseño de redes | la red de comunicaciones factible más barata | planificación de capacidad telecom |
| 09 | Ruteo de vehículos con capacidad | atender clientes con vehículos acotados | logística (ver nuestro veredicto de ruteo) |
| 10 | Diseño de topologías | grafos de diámetro mínimo bajo límites de grado | topología de redes |
La restricción de diseño que vuelve interesante a la biblioteca: cada clase fue elegida para volverse dura para los mejores solvers clásicos en tamaños chicos — el paper ubica el rango entre menos de 100 y del orden de 100.000 variables de decisión (arXiv:2504.03832) — que es el único régimen que el hardware cuántico de corto plazo puede siquiera cargar.
¿Qué hace "pre-registrado" a un benchmark?
Que las instancias y las reglas queden fijas y públicas antes de que alguien afirme nada. Esa sola propiedad elimina los dos modos de falla que Rosetta Quantum viene encontrando en el benchmarking cuántico: el examen móvil (elegir la instancia después de conocer el punto dulce de tu solver) y la baseline débil (compararse contra un método clásico que nadie usaría — nuestro post de baselines explica por qué eso invalida un resultado, y nuestro post de trampas de benchmark cataloga los trucos).
Las reglas de envío de QOBLIB operacionalizan esto (arXiv:2504.03832): reportar el wall-clock total sobre hardware declarado, publicar versiones de software y specs de cómputo, reportar repeticiones en algoritmos estocásticos y — para corridas cuánticas — contar el pipeline completo (preparación del payload, ejecución del circuito, extracción de muestras), no solo el tiempo de QPU encendida. Los resultados entran por pull request en un CSV fijo, y el leaderboard mantiene una fila por instancia: el mejor envío factible, fechado y atribuido (leaderboard, accedido 2026-09-09).
¿Por qué el récord clásico se sigue moviendo?
Porque construir un examen honesto mejora la propia regla de medir — y QOBLIB documentó ese efecto sobre su clase chica más dura. Durante la ventana de construcción y lanzamiento de la biblioteca, las instancias más grandes de Market Split resueltas clásicamente crecieron de unas 60 a 110 variables — el récord casi se duplicó sin ningún computador cuántico involucrado (blog de IBM Quantum, 2026-08-12). El propio post de lanzamiento de IBM hace el punto que Rosetta viene haciendo desde su primer veredicto: un claim de ventaja cuántica vale lo que valga la baseline clásica que tiene detrás, y esa baseline sube. Un benchmark pre-registrado convierte esa subida de amenaza en dato — los arcos se mueven en público, con fechas.
Por eso el número de portada de este post es un número clásico. En el libro de un árbitro, el récord clásico ES la vara que cualquier claim cuántico va a tener que superar, y hoy la vara sube más rápido de lo que aparecen entradas cuánticas.
¿Qué dice el marcador hoy?
Leído el 2026-09-09, la portada de la biblioteca reporta 1.264 instancias, 2.798 envíos y 533 instancias resueltas a optimalidad probada; el leaderboard lista 843 registros por instancia — instancias con al menos un envío factible archivado (sitio QOBLIB y leaderboard, ambos accedidos 2026-09-09). Los solvers clásicos — Gurobi, CPLEX, heurísticas especializadas — dominan el tablero. En la porción del tablero que nuestras herramientas pudieron enumerar (clases 01–03, 574 de los 843 registros), exactamente 2 filas están marcadas Quantum Hardware: dos instancias de Birkhoff cuyos best-known fueron enviados el 2026-08-04. Best-known no es óptimo probado — significa que nadie lo superó todavía, lo que incluye que nadie lo haya intentado en serio.
El marcador, con fuente por fila:
| Lectura (2026-09-09) | Valor | Fuente |
|---|---|---|
| Clases de problemas / instancias fijas | 10 / 1.264 | sitio QOBLIB |
| Envíos totales archivados | 2.798 | sitio QOBLIB |
| Instancias con mejor envío registrado | 843 | leaderboard |
| Instancias resueltas a optimalidad probada | 533 | sitio QOBLIB |
| Récord clásico de Market Split | 110 variables, desde ≈60 | blog de IBM Quantum, 2026-08-12 |
| Best-knowns de hardware cuántico (lectura parcial, clases 01–03) | 2 (Birkhoff, 2026-08-04) | leaderboard |
| Claims de ventaja cuántica registrados sobre QOBLIB que hayamos encontrado | 0 | leaderboard, arXiv:2504.03832 |
¿Cómo lo usa gratis un decisor?
Antes de pagar un solo minuto de QPU, en este orden. Primero, mapear tu problema a una clase: operaciones de ruteo van a la clase 09, rebalanceo de portafolio a la 06, planificación de redes a la 08. Segundo, bajar las instancias — son gratis — y correr tu propio solver clásico sobre ellas; si tu stack interno no se acerca a los resultados de referencia, tu cuello de botella es clásico, y un piloto cuántico respondería la pregunta equivocada (la lógica de presupuesto está en nuestra guía de pilotos). Tercero, cuando un vendor afirme ventaja en un problema como el tuyo, pedir el claim en formato QOBLIB: instancia pública fija, wall-clock total, hardware declarado, artefactos reproducibles. Un claim que no sobrevive ese formato no es una medición — es marketing. Cuarto, releer el leaderboard cada trimestre; está fechado, así que la tendencia es chequeable.
Es el mismo estándar que Rosetta Quantum aplica en su propia mesa: nuestra unidad de cuenta es el advantaged solve — ganarle a tu mejor baseline clásica en la misma instancia a igual presupuesto, medido — y el conteo de advantaged solves verificados de nuestro propio ledger sigue en 0. QOBLIB es la versión a escala de comunidad de esa disciplina, y es la infraestructura que esta serie viene citando desde el post de baselines.
Qué sabemos / qué no sabemos
Qué sabemos. QOBLIB existe, es abierta (Apache 2.0), fija 1.264 instancias en 10 clases y publica resultados de referencia fechados y atribuidos (arXiv:2504.03832; sitio, accedido 2026-09-09). Los solvers clásicos dominan el tablero; 533 instancias están resueltas a optimalidad probada. El récord clásico de Market Split creció ≈60 → 110 variables durante la ventana de construcción y lanzamiento de la biblioteca (blog de IBM Quantum, 2026-08-12). Dos entradas de hardware cuántico sostienen best-knowns en instancias de Birkhoff, fechadas 2026-08-04 (leaderboard).
Qué no sabemos. Si existen entradas cuánticas en las clases 04–10 — nuestra lectura del leaderboard fue parcial (la página se truncó en nuestras herramientas en la clase 03), así que nuestros conteos cuánticos son cotas inferiores, no totales. Cuántos de los 2.798 envíos usaron hardware cuántico. Si los dos best-knowns cuánticos sobrevivirían un ataque clásico dedicado sobre esas instancias específicas — best-known registra la ausencia de un envío mejor, no la imposibilidad de uno. Si las diez clases de QOBLIB representan tu carga de trabajo — un benchmark pre-registrado mide lo que registró, nada más. Y nuestro propio límite, dicho sin vueltas: Rosetta Quantum todavía no corrió instancias de QOBLIB en su propia mesa, así que todo lo de arriba es una lectura del registro público, no una re-medición independiente.
Fuentes
- QOBLIB — Quantum Optimization Benchmarking Library (sitio, accedido 2026-09-09)
- Leaderboard de QOBLIB (accedido 2026-09-09)
- arXiv:2504.03832 — Quantum Optimization Benchmarking Library: The Intractable Decathlon (v1 2025-04-04, v2 2025-08-28)
- Nature Computational Science 6, 653–671 (2026)
- Blog de IBM Quantum — QOBLIB: tracking progress in quantum optimization (2026-08-12)
- Quantum Computing Report — Global consortium launches QOBLIB (2026-08-15)
- Repositorio QOBLIB, ZIB-AOPT (Apache 2.0)
- Rosetta Quantum — Por qué una baseline clásica débil arruina un benchmark cuántico
- Rosetta Quantum — Cómo evaluar un piloto cuántico sin quemar presupuesto
- Rosetta Quantum — ¿Qué es un advantaged solve?
Rosetta Quantum publica veredictos con datos crudos reproducibles. Esto es contenido educativo — no un claim de producto, ni consejo de compras. Los números de arriba son lecturas del registro público en las fechas indicadas; donde nuestra lectura fue parcial, se dice.