Una universidad estadounidense hizo el experimento para medir cuán eficiente es la inteligencia artificial sin supervisión humana. ¿Qué tareas lograron resolver y en cuáles fracasaron? En diálogo con Infobae, los investigadores analizaron los límites en la autonomía de las máquinas.

Durante algunas semanas, nadie tomó un café en la oficina, no hubo almuerzos compartidos, no hubo charlas cara a cara, mucho menos festejos de cumpleaños ni momentos recreativos. Sin embargo, la empresa funcionó. O al menos lo intentó.

La escena pareciera salida de una novela de ciencia ficción: una compañía de software donde todos los empleados, desde los programadores hasta los responsables de recursos humanos, son agentes de inteligencia artificial. Una empresa sin personas. La idea no surgió en Silicon Valley, sino que nació como un experimento académico en la Carnegie Mellon University (CMU), una de las universidades más prestigiosas del mundo en ciencia y tecnología.

El equipo de investigadores creó The Agent Company, una empresa simulada con tareas inspiradas en el trabajo del mundo real: desarrollo de software, análisis de datos, gestión de proyectos, administración y finanzas. Cada rol fue ocupado por un agente de IA distinto. El objetivo era claro: evaluar si la IA, operando en conjunto, puede realizar el trabajo de una empresa real. Más bien, si los humanos ya somos reemplazables en su totalidad. Un informe de Goldman Sachs de 2023 ya había indicado que la IA podría sustituir el equivalente a 300 millones de empleos a tiempo completo. Quedaba demostrarlo.

“Mucho se habla sobre si los agentes de IA reemplazarán tareas humanas, pero no existía un entorno que simulara realmente el día a día de una oficina”, explicó el investigador Yufan Song, uno de los autores del estudio, en diálogo con Infobae. Por eso, decidieron crear una empresa ficticia desde cero. Armaron equipos, asignaron proyectos, integraron herramientas reales —como navegadores web y software de documentación— y hasta simularon conversaciones entre compañeros.

Las tareas fueron diversas. Algunas, simples para un humano como completar un documento, buscar información en un sitio web, escribir un archivo en formato Word. Otras, más complejas: resolver bugs en Python, gestionar bases de datos, mantener coherencia en una cadena de decisiones. Para ejecutarlas, usaron un sistema llamado OpenHands, respaldado por modelos avanzados como Claude Sonnet 3.5, Gemini 2.0 y GPT-4o.

Los resultados fueron una mezcla de asombro y frustración. El mejor agente, impulsado por Claude 3.5 Sonnet, logró completar apenas el 24% de las tareas. Y no porque fuera perezoso o poco sofisticado. Simplemente, hay instrucciones que aún no entiende.

Por ejemplo, una de las tareas requería guardar un archivo como answer.docx. Cualquier persona sabe que eso implica abrir Word o usar una herramienta compatible. Pero la IA lo interpretó como texto plano. Pequeños detalles que revelan que la IA todavía no tiene sentido común, falla en cuestiones muy simples.

“Los modelos de lenguaje fallan en cosas que para nosotros son naturales, como interpretar instrucciones implícitas o detectar convenciones culturales”, apuntó el investigador Boxuan Li, otro de los encargados del experimento. “Y a veces directamente hacen trampa”, remarcó. En una tarea, un agente debía contactar a un empleado. Como no lo encontraba en el sitio interno, optó por cambiar el nombre de un compañero cualquiera por el del objetivo para que el sistema le permitiera avanzar.

También hubo fallas más técnicas. Los agentes tuvieron problemas para leer correctamente páginas web, una tarea que requiere interpretar estructuras visuales o acceder al contenido a través del “árbol de accesibilidad” que usan los navegadores. OpenHands solo admite este método, más económico pero limitado. El reconocimiento de imágenes —más parecido a cómo lo haría un humano— aún está fuera de su alcance.

Y, sin embargo, hubo momentos brillantes. El mismo sistema, con respaldo de Gemini 2.5 Pro, completó uno de los proyectos más complejos del curso de base de datos de la universidad: navegar por un sitio privado, configurar un entorno local, modificar múltiples archivos fuente, compilar y testear. Lo hizo en 8 minutos y por apenas 2,41 dólares.

“Como era de esperar, los agentes de vanguardia actuales no resuelven la mayoría de las tareas, lo que sugiere que hay una gran brecha para que realicen de forma autónoma lo que haría un trabajador humano en un día laboral, incluso en un entorno de evaluación comparativa relativamente simplificado como el que aplicamos”, explicó Li.

La paradoja es evidente. Los agentes de IA pueden resolver tareas difíciles, pero fracasan en otras que un pasante resolvería en dos clics. Y aunque el 25% de efectividad pueda sonar bajo, marca un hito: nunca antes se había probado la IA en condiciones tan cercanas al trabajo real.

¿En qué tareas fallan?

El mayor valor del experimento, según los investigadores, no está en los éxitos, sino en los fracasos. “Queríamos entender por qué no pueden completar ciertas tareas. Eso es más útil que celebrar lo que ya hacen bien”, explicó Song.

Una de las principales conclusiones fue que los agentes de IA aún tienen serias limitaciones en tareas con alta carga social, como colaborar, escalar problemas o simplemente esperar una respuesta. En una tarea específica, se indicaba que si un compañero no respondía en 10 minutos, había que escalar al director de tecnología (CTO). Ningún agente lo hizo bien. Uno de ellos “supuso” que habían pasado los 10 minutos y actuó en consecuencia sin motivo aparente.

Según Li, este tipo de errores revela una fragilidad de fondo: “Los agentes todavía no son buenos en tareas a largo plazo, ni en seguir instrucciones condicionales con contexto temporal. Eso los hace poco confiables para delegar procesos completos sin supervisión humana”, expresó.

Otra gran debilidad es la interacción con interfaces diseñadas para personas. Muchos programas empresariales, sitios de gestión interna o formularios tienen reglas no escritas, flujos lógicos implícitos y estructuras visuales complejas. Todo eso sigue siendo un obstáculo para los modelos actuales. Sin acceso a imágenes o simulaciones realistas, su desempeño se frena.

El porcentaje de éxito en las tareas asignadas a cada una de las herramientas de IA (Fuente: CMU)

También fallan en razonamiento matemático y cálculo avanzado, algo que limita su uso en áreas como finanzas, ingeniería o logística. Incluso cuando parecen entender, muchas veces improvisan respuestas para “salir del paso”, lo cual puede resultar peligrosamente persuasivo. “Los humanos, al enfrentarnos a problemas que no podemos resolver, podemos admitir honestamente nuestro fracaso. Sin embargo, los agentes pueden usar métodos torpes para fingir que lo resolvieron y luego dar el resultado con confianza”, remarcó Song.

Y esto no es solo un problema técnico. En un mundo donde la IA toma decisiones con impacto real —recomendaciones financieras, diagnósticos médicos, estrategias empresariales—, una respuesta errónea dicha con confianza puede ser mucho peor que un simple “no lo sé”.

“No creo que reemplacen puestos de trabajo en su totalidad, pero sin duda transformarán nuestra forma de trabajar. Son potentes y los seres humanos podemos aprovecharlos para aumentar la productividad, pero, al menos por ahora, no pueden reemplazar ningún puesto de trabajo por completo”, aseguró Li.

A la luz de los resultados, los investigadores insisten en que no estamos ni cerca de reemplazar trabajos completos. Lo que sí vislumbran es un futuro cercano de colaboración forzada, donde los humanos actúan como jefes, auditores o socios estratégicos de los agentes.

El futuro del trabajo (y los nuevos jefes de la IA)

Hasta ahora, los agentes de IA presentan dificultades para resolver tareas sin supervisión humana

La pregunta inevitable es: ¿y ahora qué? ¿Qué rol tendrán estos agentes en el trabajo del futuro?

Según Song, la clave estará en quién sepa usarlos mejor. “El poder de la IA está directamente relacionado con el nivel del usuario. Alguien que entienda bien la herramienta, que sepa cómo descomponer una tarea en partes, podrá aprovecharla al máximo”, sostuvo. En ese escenario, los trabajadores se convierten en diseñadores de procesos, y los agentes en ejecutores rápidos, precisos y escalables.

El nuevo panorama puede caer bien entre quienes ya están formados, pero implica un dilema para los que recién empiezan a interactuar con la inteligencia artificial. Un agente hoy es más barato que un junior, y comete errores diferentes, pero no necesariamente peores. Eso puede acelerar la automatización de tareas simples y empujar a los trabajadores humanos hacia funciones más abstractas o creativas.

Según Song, los trabajos que implican interactuar con el mundo físico son los más “resistentes” hoy. “Por muy potentes que sean los modelos a gran escala, al menos ahora no pueden interactuar adecuadamente con el mundo real”, explicó.

Para roles como programadores, redactores, asistentes, diseñadores y atención al cliente, existen muchas startups centradas en mejorar su productividad. Sin embargo, cree, no significa que sean vulnerables. “En estas profesiones la IA puede acelerar significativamente la producción, pero de la mano con ese aumento, pueden surgir nuevas demandas ocultas”.

La colaboración humano-IA no será simétrica. Las personas marcarán el rumbo, pero dependerán de su capacidad para coordinar inteligencias artificiales de forma efectiva. La habilidad ya no será solo saber hacer algo, sino saber cómo enseñárselo y cómo indicárselo 一el nuevo arte de promptear一 a la máquina.

A mediano plazo, el equipo de Carnegie Mellon University no espera una revolución, sino una transición gradual. Los agentes, poco a poco, ocuparán nichos específicos: análisis de datos, redacción de reportes, documentación técnica. Tareas monótonas, repetitivas, estructuradas, pero no tomarán decisiones ni liderarán equipos.

Los agentes de IA avanzan a toda velocidad, pero aún enfrentan límites cuando se trata de adaptarse al mundo real. No pueden improvisar, colaborar ni tomar decisiones con verdadero criterio humano. En los próximos meses, The Agent Company 一y otros experimentos que puedan surgir一 harán más pruebas. Es que ahora al futuro, antes de alcanzarlo, se lo simula.

Dario Amodei destaca la falta de transparencia en la IA, un desafío crucial para desarrolladores. Resalta que entender la inteligencia artificial es esencial antes de que transforme radicalmente nuestro futuro

El CEO de Anthropic, Dario Amodei, acaba de confirmar lo que muchos sospechan, pero pocos se atreven a admitir sobre la inteligencia artificial (IA): nadie comprende realmente cómo funciona.

“Cuando un sistema de IA generativa realiza una tarea, como resumir un documento financiero, no tenemos idea, a un nivel específico o preciso, por qué toma las decisiones que toma: por qué elige ciertas palabras sobre otras, o por qué ocasionalmente comete un error a pesar de ser generalmente preciso”, admite sin rodeos el director ejecutivo en su publicación.

Amodei advierte sobre los riesgos de “sistemas desalineados” en entornos críticos por la opacidad de la IA (Imagen Ilustrativa Infobae)

Amodei explica esta paradoja comparando los sistemas de IA generativa con organismos vivos. “Es un poco como cultivar una planta o una colonia bacteriana: establecemos las condiciones de alto nivel que dirigen y dan forma al crecimiento, pero la estructura exacta que emerge es impredecible y difícil de entender o explicar”, señala en su análisis.

El problema fundamental, según el ejecutivo, es que al examinar estos sistemas, “lo que vemos son vastas matrices de miles de millones de números que de alguna manera realizan importantes tareas cognitivas, pero exactamente cómo lo hacen no es obvio”.

Claude es uno de los sistemas de IA más avanzados del mercado

El CEO de Anthropic identifica varios riesgos derivados de esta opacidad. Entre ellos destaca la posibilidad de “sistemas desalineados que podrían tomar acciones dañinas no previstas por sus creadores”. La incapacidad para entender los mecanismos internos hace imposible predecir ciertos comportamientos problemáticos o descartarlos de manera confiable.

Otros problemas incluyen la vulnerabilidad ante “jailbreaks” (técnicas para eludir las restricciones impuestas), la resistencia a adoptar sistemas de IA en entornos críticos o financieros por falta de explicabilidad, y las barreras legales que surgen cuando las decisiones deben ser justificables, como en evaluaciones hipotecarias.

Frente a estos desafíos, Amodei anuncia un ambicioso plan para desarrollar lo que denomina una “resonancia magnética para IA” en la próxima década. Este proyecto busca crear herramientas que permitan examinar el funcionamiento interno de los modelos y diagnosticar problemas potenciales antes de su implementación.

“Nuestra aspiración a largo plazo es poder examinar un modelo de vanguardia y esencialmente hacer un ’escaneo cerebral‘: un chequeo que tenga una alta probabilidad de identificar una amplia gama de problemas, incluyendo tendencias a mentir o engañar, búsqueda de poder, fallas en jailbreaks, fortalezas y debilidades cognitivas”, detalla el CEO.

Este enfoque funcionaría de manera similar a cómo un médico utiliza diagnósticos para identificar enfermedades y monitorear tratamientos, permitiendo evaluar y corregir el comportamiento de los sistemas de IA de forma sistemática.

El CEO reconoce que existe una competencia entre el avance de la interpretabilidad y el desarrollo de modelos cada vez más potentes. “Me preocupa que la IA misma esté avanzando tan rápido que podríamos no tener siquiera este tiempo. Como he escrito en otros lugares, podríamos tener sistemas de IA equivalentes a un ’país de genios en un centro de datos‘ tan pronto como 2026 o 2027″, advierte con preocupación.

En esta carrera contra el tiempo, el líder de Anthropic ha establecido 2027 como fecha límite para que Anthropic desarrolle métodos de interpretabilidad que puedan “detectar de manera confiable la mayoría de los problemas del modelo”.

Anthropic propone crear una “resonancia magnética para IA” para diagnosticar problemas antes de implementar modelos (Reuters)

El experto concluye su reflexión con un llamado a investigadores, empresas, gobiernos y la sociedad para acelerar el desarrollo de técnicas de interpretabilidad. Entre sus recomendaciones destaca la necesidad de:

1. Aumentar los recursos dedicados a la investigación en interpretabilidad, tanto en empresas como en entornos académicos.
2. Implementar regulaciones gubernamentales “de toque ligero” que fomenten la transparencia en las prácticas de seguridad.
3. Utilizar controles de exportación para crear un “amortiguador de seguridad” que otorgue más tiempo al avance de la interpretabilidad.

El mensaje final es contundente: “La IA poderosa dará forma al destino de la humanidad, y merecemos entender nuestras propias creaciones antes de que transformen radicalmente nuestra economía, nuestras vidas y nuestro futuro“.

El resultado fue una experiencia tan útil como inquietante, entre la eficiencia extrema y la pérdida total de privacidad

Durante varios meses, la periodista del The Wall Street Journal Joanna Stern se sumergió en una experiencia singular y desconcertante: llevar en su muñeca un dispositivo de apenas 50 dólares que registraba, sin interrupciones, cada palabra que pronunciaba.

Desde febrero, esta cronista utilizó el Bee Pioneer, una pulsera dotada de inteligencia artificial, que transforma conversaciones cotidianas en un archivo digital permanente.

A lo largo de ese tiempo, acumuló transcripciones de reuniones laborales, discusiones familiares, diálogos con colegas insatisfechos y hasta reflexiones solitarias durante las noches en el baño.

También puso a prueba otros dispositivos similares: el Limitless Pendant, de 199 dólares, y el Plaud NotePin, de 159 dólares.

El Bee Pioneer, en particular, se convirtió en un confidente digital que, apenas unas horas después de haber sido activado, ya era capaz de generar información útil a partir de murmullos y frases sueltas.

“Este brazalete es realmente espeluznante”, dijo la autora. A pesar de su precio modesto y su apariencia discreta, el Bee demostró tener un alcance profundo y una capacidad técnica sorprendente.

A lo largo del experimento, el Bee y el Limitless funcionaron de manera constante gracias a micrófonos incorporados que reconocen la voz de quien los lleva puestos.

Cuando detectan un diálogo, estos dispositivos envían el audio primero al celular, y luego a servidores remotos donde se lleva a cabo la transcripción automática. En pocos minutos, las aplicaciones asociadas presentan un resumen generado por inteligencia artificial.

La pulsera Bee no conserva los archivos de audio originales después de la transcripción. En cambio, Limitless sí los guarda y permite reproducirlos posteriormente.

El aparato transformó promesas y comentarios sueltos en recordatorios que aparecían cada día (https://www.bee.computer/bee-pioneer)

De esta manera, el usuario recibe notificaciones que, en muchos casos, reflejan sus intenciones genuinas, como llamar a un profesional o hacer un seguimiento de un asunto laboral, pero también generan alertas improbables, como “agendar una nueva cita con el estilista para hablar sobre tu corte de pelo”.

A través de sus chatbots integrados, Bee y Limitless permiten también consultas específicas. La periodista, por ejemplo, pidió un análisis detallado de su vocabulario ofensivo, y obtuvo una estadística: 2,4 insultos diarios.

También preguntó qué modelos de inteligencia artificial utiliza Bee, y la respuesta del sistema fue precisa: una combinación de herramientas desarrolladas por Anthropic, Google y Meta.

Pero junto con la funcionalidad, emergieron dilemas legales y morales. Al informar sobre la experiencia, la autora señaló que la mayor parte de sus grabaciones fueron realizadas en Nueva Jersey y Nueva York, dos estados donde se permite que una sola persona consienta la grabación de una conversación.

En aproximadamente doce estados norteamericanos, en cambio, la ley exige que todos los involucrados aprueben ser grabados.

La grabación constante incluyó desde charlas laborales hasta rutinas en el baño, sin posibilidad de recuperar el audio original (Imagen Ilustrativa Infobae)

Si bien las personas ya confían datos sensibles como fotografías y registros médicos a servicios en la nube, la posibilidad de que un registro completo de sus conversaciones también termine almacenado fuera de su control resulta difícil de aceptar.

Las empresas fabricantes de Bee y Limitless aseguraron que los datos se almacenan encriptados, que pueden eliminarse al borrar la cuenta y que no se utilizan para entrenar modelos de inteligencia artificial.

La pregunta final que se impone es si resulta justificable llevar un dispositivo que graba todo lo que uno dice a cambio de listas de tareas pendientes y resúmenes de la jornada.

Pero a medida que los asistentes virtuales se vuelvan más sofisticados, comprensivos y “humanos”, los límites actuales podrían desdibujarse y tener consecuencias negativas para la sociedad.