BioBasicsBench: qué evalúa el benchmark de OpenAI
Volver a la edición
neoteo
17 de noviembre de 2026

BioBasicsBench: qué evalúa el benchmark de OpenAI

BioBasicsBench evalúa cómo los agentes interpretan datos de laboratorio. OpenAI publicó resultados en xhigh y ejemplos concretos de errores y señales ambiguas.

Sus porcentajes reflejan crédito parcial en rúbricas, y los ejemplos incluyen señales solapadas y errores de selección.

BioBasicsBench reúne 100 tareas de cinco áreas de trabajo de laboratorio.

En xhigh, GPT-6 Astra obtuvo una recompensa media del 66,7 % del crédito de rúbrica disponible.

La recompensa admite crédito parcial y no equivale a la proporción de tareas completadas.

OpenAI describió un solapamiento de detección de 525–540 nm y un recuento de colonias aproximadamente un 12 % por encima de la referencia en una tarea.

BioBasicsBench evalúa cómo los agentes interpretan datos de laboratorio. OpenAI publicó resultados en xhigh y ejemplos concretos de errores y señales ambiguas.

OpenAI presentó BioBasicsBench el 6 de noviembre de 2026 junto con Ligo, una empresa de biotecnología centrada en el diseño de enzimas. El benchmark reúne 100 tareas de laboratorio para evaluar cómo los agentes de IA interpretan datos experimentales, detectan errores y reconocen cuándo la evidencia no basta para sostener una conclusión. En su evaluación, OpenAI comunicó una recompensa media del 66,7 % del crédito disponible para GPT-6 Astra en el nivel xhigh, la configuración de razonamiento más alta que informó para los siete modelos. (OpenAI)

Las 100 tareas cubren cinco áreas: métodos de proteínas; imagen y citometría; cuantificación y ensayos; métodos de ácidos nucleicos; y clonación molecular. Para resolverlas, los agentes deben interpretar materiales como imágenes de geles y placas, secuencias, pilas de microscopía, exportaciones de instrumentos y vídeos de protocolos.

Ligo creó las tareas a partir de sus propios datos experimentales y preparó los criterios de evaluación. Según OpenAI, cada tarea pasó por la revisión de otro científico de Ligo, la de un científico externo con nivel de doctorado en trabajo experimental de laboratorio y una revisión interna final.

La evaluación abarcó siete modelos y 37 combinaciones de modelo y nivel de razonamiento. OpenAI ejecutó cinco intentos por tarea y configuración: en total, 18.500 resultados sobre las mismas 100 tareas. Algunas tareas incluían vídeos de protocolos y otras, placas de agar con colonias; OpenAI contabilizó cada tipo en siete tareas. Las hojas de referencia aparecían en 21. Esas categorías pueden solaparse, así que no describen partes excluyentes del total.

La recompensa media expresa el crédito de rúbrica obtenido como porcentaje del total disponible. Una tarea puede recibir crédito parcial por sus mediciones o razonamiento, por una conclusión correcta o por reconocer que los datos no permiten concluir algo. Por eso, el 66,7 % de GPT-6 Astra no significa que completara correctamente 66,7 de las 100 tareas.

Los intervalos de confianza se calcularon mediante remuestreo de tareas completas, manteniendo juntos los cinco intentos de cada tarea. La tabla resume el crédito medio comunicado por OpenAI para tres modelos en la misma configuración; no es un recuento de tareas resueltas.

En un ejemplo de microscopía, el canal marcado para SYTOX abarcaba de 470 a 540 nm y el canal verde de FUN-1, de 525 a 580 nm. El tramo compartido va de 525 a 540 nm, un solapamiento que podía permitir interferencia entre señales. OpenAI describió esa posibilidad, pero no cuantificó la interferencia en el ejemplo.

En otra tarea, la placa estaba rotulada para kanamicina, mientras que el experimento utilizaba ampicilina. La etiqueta «LB Kan50» identifica el antibiótico distinto del empleado en el ensayo.

En una tarea de colony-PCR, GPT-6 Astra seleccionó los carriles 4, 6, 7 y 8; la referencia del benchmark seleccionaba los carriles 5, 9 y 10. OpenAI indicó que esa selección habría llevado a purificar un plásmido incorrecto.

Continúa la lectura estratégica

Accede a la nota completa y mantente a la vanguardia de los movimientos financieros globales.

Leer artículo en neoteo

Nevaco Report — Monitoreo en tiempo real de mercados globales y análisis macroeconómico.

También podría interesarte