Connect with us

Tecnología

Le pidieron al ChatGPT que escribiera un paper científico: por qué hizo un papelón

Publicado

on

Científicos israelíes le ordenaron que procesara datos de una investigación sobre salud. Lo hizo en tiempo récord, pero las conclusiones decepcionaron.

“Pusieron en marcha el sistema y se fueron a almorzar”. Así resume la revista Nature, en una nota publicada los últimos días, la experiencia de dos científicos israelíes que pusieron a prueba la capacidad de ChatGPT para escribir un paper científico. Crearon un software que le fue dosificando a esta inteligencia artificial (IA) información de base sobre un tema de salud, se fueron a comer y, promediando la digestión, el trabajo estaba hecho. Pero, como se verá, no todo lo que brilla es oro.

Aunque los resultados fueron generados con una velocidad inalcanzable para un ser humano (se procesó y analizó una base de datos de 250.000 personas consultadas sobre diabetes, su consumo de frutas y verduras y su nivel de actividad física), estuvieron lejos de ser brillantes.

Sin embargo, inquietan. Es un contexto de gran preocupación, no solo por el avance -vendido como irrefrenable- de la inteligencia artificial sino por los riesgos de la desinformación y las fake news en todos los órdenes de la realidad.

O sea, no solo en la política sino también en el ámbito científico. Y de hecho (informaba este medio hace unos meses), la punta de ese iceberg son los cientos de papers retractados cada año por las propias revistas científicas que los habían revisado y publicado.

La pregunta es por las implicancias de que un par de científicos hayan probado confeccionar un paper con ChatGPT y si podrían multiplicarse aquellos con información cuestionable o floja. Y, lo más importante (precisamente el título de Nature): ¿Fue bueno el resultado de este paper en particular?

El logo de OpenAI, responsable del ChatGPT. Foto: APEl logo de OpenAI, responsable del ChatGPT. Foto: AP

La calidad del paper de ChatGPT

La respuesta a lo último es “más o menos”. El texto está online y lleva fecha del 23 de junio. Desde ya, no tiene autoría, si bien la dupla impulsora fueron los israelíes Roy Kishony (biólogo y experto en ciencia de datos) y su alumno Tal Ifargan, ambos del Technion, el instituto de Tecnología de Israel en Haifa.

Crearon un software que pudiera interactuar con ChatGPT. Máquina vs. máquina. Ellos se fueron a comer. Luego de compartirle la base de datos de 250.000 encuestas telefónicas, el sistema creado por los humanos le pidió a la IA que determinara un objetivo de estudio. ChatGPT obedeció.

Además, se le ordenó generar una plan de análisis de datos y “código”, término clave en el mundo informático, que podría definirse como un alfabeto que incluye las instrucciones, algoritmos o fórmulas (lo que importa es el trazo grueso de la idea) con el que se podrá -entre otros- extraer patrones de comportamiento.

Dicho de otro modo, se le pidió a ChatGPT la ambiciosa tarea de ser humano programador, analista de datos, científico y, además, encontrar algo nuevo.

El resultado fue algo trivial: la determinación de que comer más frutas y verduras y hacer ejercicio está relacionado con un menor riesgo de desarrollar diabetes.

ChatGPT, ¿un copiloto en apuros?

Nature describe el uso que los científicos le dieron a ChatGPT como el de quien apela a un “copiloto”, concepto también usual en este mundillo. Es, no obstante, un término discutible: un copiloto asiste, pero también debe estar en condiciones de tomar el mando. ¿Podría ChatGPT asumir ese rol más allá de lo formal?

Porque Nature apunta que “el artículo fue fluido, perspicaz y se presentó en la estructura esperada de un artículo científico”, pero admite, citando a los propios investigadores, que “hay muchos obstáculos que superar antes de que la herramienta pueda ser realmente útil”.

Para comprender la gran falla de este trabajo hay que explicar un concepto: la “alucinación”, un problema común de la IA llamada “generativa” (productiva por sí misma, como el cerebro humano).

chat-gpt

ChatGPT alucinante

Juan Gustavo Corvalán es director y cofundador del Laboratorio de Innovación e Inteligencia Artificial de la UBA (IALAB). Según explicó, “se dice que ‘alucina’ cuando, ante cierta solicitud, orden o prompt (el nombre técnico que se usa), la IA genera contenido falso o sin sentido. Esto ocurre porque el sistema no razona en términos humanos; no puede contestar ‘no sé‘ porque fue creada para intentar analizar el contexto de la solicitud humana y, en base a su aprendizaje, construir una respuesta”.

“Antes, si un chatbot conversacional agotaba su fuente de conocimiento, liberaba una respuesta por defecto del estilo de ‘disculpa, no tengo información sobre lo que estás preguntando‘, lo que no significaba que contara con la inteligencia humana como para identificar aquello que no sabía. Era código de programación que determinaba una respuesta por defecto ante ciertos casos”, recordó, y agregó que “estos nuevos sistemas intentan, en todos los casos, brindar alguna respuesta”.

Se ve que, al costo que sea. Porque, volviendo al paper sobre diabetes, los investigadores intentaron evitar esos vacíos llenados psicodélicamente y le permitieron al chat acceder a los motores de búsqueda de la literatura sobre el tema. O sea, consultar otros papers.

Aun así, el resultado derivó en un gran error de ponderación.

Lugares comunes (aun para ChatGPT)

ChatGPT consideró que había arribado a un hallazgo cuando en realidad enunciaba un saber vox populi. Con grandilocuencia, el paper anuncia que “este estudio aborda un vacío en la literatura al proporcionar evidencia sobre los efectos protectores de consumo de frutas y verduras y actividad física en relación con el riesgo de diabetes”.

Lo más llamativo es que (cuenta el artículo de Nature), el software de los investigadores israelíes incluso había abierto dos conversaciones de ChatGPT para recrear un virtual sistema de revisión por pares (lo que se conoce como arbitraje, referato o “peer review”).

Así, se le indicó al chatbot actuar como científico y escribir el artículo, y en una segunda caja de diálogo, hacer las veces de “revisor” y compartirle al “científico” comentarios constructivos. Pero el trabajo en tándem no ayudó.

Lapidario, el científico informático de la Universidad Hebrea de Jerusalén Tom Hope (citado por Nature) resume que los resultados no podrían sorprender a nadie y que el paper “no está ni cerca de ser novedoso”.

Inteligencia artificial y desinformación

Nada de esto sería tan problemático sino fuera porque (por información falsa, errónea, mal calculada, copiada…) cada año, cientos de revistas científicas pasan por el papelón de retractar el aval que le habían dado a papers revisados y publicados en sus propias páginas. Cabe preguntarse si esta herramienta informática representa una amenaza de mayor proliferación de papers retractados.

papers-retractados

El tema preocupa, ya que casi 4.000 trabajos son “echados para atrás” cada año, y la cifra crece porcentualmente sobre el total de publicaciones, informó a Clarín Ivan Oransky, uno de los creadores del famoso observatorio con sede en Estados Unidos llamado Retraction Watch, del que se destaca una jugosa base de datos histórica.

Consultado por este tema, Oransky se mostró indignado: “No es que ChatGPT sea una amenaza ahora. Hace años que muchos de los papers que luego son retractados fueron creados por herramientas de inteligencia artificial”.

Sin embargo, para Oransky “el problema no es tanto éste sino la presión que tienen los científicos de muchos países por publicar, si quieren sostener sus sueldos y puestos de trabajo”.

Un poco de contexto en IA

La resonante carta firmada por celebrities de la informática (más de 1.000 expertos; entre ellos, Elon Musk y el cofundador de Apple, Steve Wozniak) que en marzo planteó un escenario apocalíptico si se seguían lanzando nuevas versiones del programa, contrasta con las noticias sobre los errores del chat.

Ahora bien, cualquier relativización tranquiliza frente a las amenazas de que la IA generativa nos llevará a prescindir de nosotros mismos, al punto de sufrir un recorte mundial de 300 millones de empleos full time, si ChatGPT avanza sin freno.

¿Es posible que ese recorte incluya a los propios científicos? O, por lo pronto, ¿les vendría bien relegar la escritura de papers a la IA?

La IA, según dos científicos argentinos

Clarín habló con dos virólogos investigadores del Conicet: Andrea Gamarnik, de la Fundación Instituto-Leloir, y Jorge Quarleri, del Instituto de Investigaciones Biomédicas en Retrovirus y Sida (INBIRS). Coincidieron en que la instancia de redacción de un paper es una parte irrenunciable en el proceso de investigación.

“Una vez que tenés los resultados científicos, la escritura de un trabajo demora meses. Depende del tipo de trabajo, pero es un proceso de mucho aprendizaje y de elaboración de los resultados científicos. Comunicar el hallazgo al sistema científico es parte clave de la investigación”, resumió Gamarnik.

Quarleri desconfía de la idea de que un algoritmo reemplace la escritura de un paper, que “es mucho más que metodología y experimentos”.

“La generación de conocimientos plasmada en una publicación para que luego pueda ser tomada por la comunidad incluye muchos factores, más allá de lo estrictamente científico”, apuntó.

En concreto, “se arranca con una pregunta y se termina con alguna o varias respuestas, pero en el medio hay muchas instancias: idas y vueltas que son registradas en documentos del equipo de trabajo. Todo eso se saca a la luz, pero no de cualquier modo: debe ser de una manera seductora, apetecible, que invite a la lectura”.

Ciencia y corazón: el punto ciego de ChatGPT

Para Quarleri, la IA difícilmente pueda dar cuenta del “componente emocional que incluye la redacción de un trabajo científico”.

“ChatGPT puede ser muy útil para responder algunas preguntas, pero no parece ser la solución frente al desconocimiento”.

Corvalán es de la idea de que hay un futuro concreto en ChatGPT como herramienta de redacción de papers. Sin embargo, en línea con Quarleri, remarca que la clave es “tomar conciencia de las limitaciones de la IA”.

En este sentido, se da una paradoja: “Hoy, ChatGPT es más útil para quienes cuentan con un conocimiento técnico en cierta temática y lo emplean como asistente que para quienes no cuentan con conocimiento y desean explorar un área”.

La creatividad y la calidad, reconoció, son dos cuentas, en muchos casos, pendientes. El entorno de trabajo debe ser, sin dudas, en tándem (IA-humanos), enfatizó.

Pero cómo quitarle la pasión a científicos como Quarleri: “La escritura de un trabajo es como ser examinado por alguien. Ese alguien es uno mismo”.

Sociedad

Montaron una empresa en la que todos los empleados son IA y los resultados fueron desconcertantes

Publicado

on

Por

Una universidad estadounidense hizo el experimento para medir cuán eficiente es la inteligencia artificial sin supervisión humana. ¿Qué tareas lograron resolver y en cuáles fracasaron? En diálogo con Infobae, los investigadores analizaron los límites en la autonomía de las máquinas.

Durante algunas semanas, nadie tomó un café en la oficina, no hubo almuerzos compartidos, no hubo charlas cara a cara, mucho menos festejos de cumpleaños ni momentos recreativos. Sin embargo, la empresa funcionó. O al menos lo intentó.

Seguir leyendo

Tecnología

El secreto inquietante de la IA revelado por un líder tecnológico

Publicado

on

Por

Dario Amodei destaca la falta de transparencia en la IA, un desafío crucial para desarrolladores. Resalta que entender la inteligencia artificial es esencial antes de que transforme radicalmente nuestro futuro

El CEO de AnthropicDario Amodei, acaba de confirmar lo que muchos sospechan, pero pocos se atreven a admitir sobre la inteligencia artificial (IA): nadie comprende realmente cómo funciona.

“Cuando un sistema de IA generativa realiza una tarea, como resumir un documento financiero, no tenemos idea, a un nivel específico o preciso, por qué toma las decisiones que toma: por qué elige ciertas palabras sobre otras, o por qué ocasionalmente comete un error a pesar de ser generalmente preciso”, admite sin rodeos el director ejecutivo en su publicación.

Amodei advierte sobre los riesgosAmodei advierte sobre los riesgos de “sistemas desalineados” en entornos críticos por la opacidad de la IA (Imagen Ilustrativa Infobae)

Una tecnología opaca en su naturaleza

Amodei explica esta paradoja comparando los sistemas de IA generativa con organismos vivos. “Es un poco como cultivar una planta o una colonia bacteriana: establecemos las condiciones de alto nivel que dirigen y dan forma al crecimiento, pero la estructura exacta que emerge es impredecible y difícil de entender o explicar”, señala en su análisis.

El problema fundamental, según el ejecutivo, es que al examinar estos sistemas, “lo que vemos son vastas matrices de miles de millones de números que de alguna manera realizan importantes tareas cognitivas, pero exactamente cómo lo hacen no es obvio”.

Claude es uno de losClaude es uno de los sistemas de IA más avanzados del mercado

Los riesgos de no comprender lo que creamos

El CEO de Anthropic identifica varios riesgos derivados de esta opacidad. Entre ellos destaca la posibilidad de “sistemas desalineados que podrían tomar acciones dañinas no previstas por sus creadores”. La incapacidad para entender los mecanismos internos hace imposible predecir ciertos comportamientos problemáticos o descartarlos de manera confiable.

Otros problemas incluyen la vulnerabilidad ante “jailbreaks” (técnicas para eludir las restricciones impuestas), la resistencia a adoptar sistemas de IA en entornos críticos o financieros por falta de explicabilidad, y las barreras legales que surgen cuando las decisiones deben ser justificables, como en evaluaciones hipotecarias.

La carrera por la interpretabilidad

Frente a estos desafíos, Amodei anuncia un ambicioso plan para desarrollar lo que denomina una “resonancia magnética para IA” en la próxima década. Este proyecto busca crear herramientas que permitan examinar el funcionamiento interno de los modelos y diagnosticar problemas potenciales antes de su implementación.

“Nuestra aspiración a largo plazo es poder examinar un modelo de vanguardia y esencialmente hacer un ’escaneo cerebral‘: un chequeo que tenga una alta probabilidad de identificar una amplia gama de problemas, incluyendo tendencias a mentir o engañar, búsqueda de poder, fallas en jailbreaks, fortalezas y debilidades cognitivas”, detalla el CEO.

Este enfoque funcionaría de manera similar a cómo un médico utiliza diagnósticos para identificar enfermedades y monitorear tratamientos, permitiendo evaluar y corregir el comportamiento de los sistemas de IA de forma sistemática.

Una carrera contra el tiempo

El CEO reconoce que existe una competencia entre el avance de la interpretabilidad y el desarrollo de modelos cada vez más potentes. “Me preocupa que la IA misma esté avanzando tan rápido que podríamos no tener siquiera este tiempo. Como he escrito en otros lugares, podríamos tener sistemas de IA equivalentes a un ’país de genios en un centro de datos‘ tan pronto como 2026 o 2027″, advierte con preocupación.

En esta carrera contra el tiempo, el líder de Anthropic ha establecido 2027 como fecha límite para que Anthropic desarrolle métodos de interpretabilidad que puedan “detectar de manera confiable la mayoría de los problemas del modelo”.

Anthropic propone crear una "resonanciaAnthropic propone crear una “resonancia magnética para IA” para diagnosticar problemas antes de implementar modelos (Reuters)

El experto concluye su reflexión con un llamado a investigadores, empresas, gobiernos y la sociedad para acelerar el desarrollo de técnicas de interpretabilidad. Entre sus recomendaciones destaca la necesidad de:

  1. Aumentar los recursos dedicados a la investigación en interpretabilidad, tanto en empresas como en entornos académicos.
  2. Implementar regulaciones gubernamentales “de toque ligero” que fomenten la transparencia en las prácticas de seguridad.
  3. Utilizar controles de exportación para crear un “amortiguador de seguridad” que otorgue más tiempo al avance de la interpretabilidad.

El mensaje final es contundente: “La IA poderosa dará forma al destino de la humanidad, y merecemos entender nuestras propias creaciones antes de que transformen radicalmente nuestra economía, nuestras vidas y nuestro futuro“.

Seguir leyendo

Tecnología

Grabó todo lo que dijo durante tres meses y ahora la IA “reemplazó” su memoria

Publicado

on

Por

El resultado fue una experiencia tan útil como inquietante, entre la eficiencia extrema y la pérdida total de privacidad

Durante varios meses, la periodista del The Wall Street Journal Joanna Stern se sumergió en una experiencia singular y desconcertante: llevar en su muñeca un dispositivo de apenas 50 dólares que registraba, sin interrupciones, cada palabra que pronunciaba.

Desde febrero, esta cronista utilizó el Bee Pioneer, una pulsera dotada de inteligencia artificial, que transforma conversaciones cotidianas en un archivo digital permanente.

A lo largo de ese tiempo, acumuló transcripciones de reuniones laboralesdiscusiones familiares, diálogos con colegas insatisfechos y hasta reflexiones solitarias durante las noches en el baño.

También puso a prueba otros dispositivos similares: el Limitless Pendant, de 199 dólares, y el Plaud NotePin, de 159 dólares.

El Bee Pioneer, en particular, se convirtió en un confidente digital que, apenas unas horas después de haber sido activado, ya era capaz de generar información útil a partir de murmullos y frases sueltas.

“Este brazalete es realmente espeluznante”, dijo la autora. A pesar de su precio modesto y su apariencia discreta, el Bee demostró tener un alcance profundo y una capacidad técnica sorprendente.

A lo largo del experimento, el Bee y el Limitless funcionaron de manera constante gracias a micrófonos incorporados que reconocen la voz de quien los lleva puestos.

Cuando detectan un diálogo, estos dispositivos envían el audio primero al celular, y luego a servidores remotos donde se lleva a cabo la transcripción automática. En pocos minutos, las aplicaciones asociadas presentan un resumen generado por inteligencia artificial.

La pulsera Bee no conserva los archivos de audio originales después de la transcripción. En cambio, Limitless sí los guarda y permite reproducirlos posteriormente.

El aparato transformó promesas yEl aparato transformó promesas y comentarios sueltos en recordatorios que aparecían cada día (https://www.bee.computer/bee-pioneer)

De esta manera, el usuario recibe notificaciones que, en muchos casos, reflejan sus intenciones genuinas, como llamar a un profesional o hacer un seguimiento de un asunto laboral, pero también generan alertas improbables, como “agendar una nueva cita con el estilista para hablar sobre tu corte de pelo”.

A través de sus chatbots integrados, Bee y Limitless permiten también consultas específicas. La periodista, por ejemplo, pidió un análisis detallado de su vocabulario ofensivo, y obtuvo una estadística: 2,4 insultos diarios.

También preguntó qué modelos de inteligencia artificial utiliza Bee, y la respuesta del sistema fue precisa: una combinación de herramientas desarrolladas por Anthropic, Google y Meta.

Pero junto con la funcionalidad, emergieron dilemas legales y morales. Al informar sobre la experiencia, la autora señaló que la mayor parte de sus grabaciones fueron realizadas en Nueva Jersey y Nueva York, dos estados donde se permite que una sola persona consienta la grabación de una conversación.

En aproximadamente doce estados norteamericanos, en cambio, la ley exige que todos los involucrados aprueben ser grabados.

La grabación constante incluyó desdeLa grabación constante incluyó desde charlas laborales hasta rutinas en el baño, sin posibilidad de recuperar el audio original (Imagen Ilustrativa Infobae)

Si bien las personas ya confían datos sensibles como fotografías y registros médicos a servicios en la nube, la posibilidad de que un registro completo de sus conversaciones también termine almacenado fuera de su control resulta difícil de aceptar.

Las empresas fabricantes de Bee y Limitless aseguraron que los datos se almacenan encriptados, que pueden eliminarse al borrar la cuenta y que no se utilizan para entrenar modelos de inteligencia artificial.

La pregunta final que se impone es si resulta justificable llevar un dispositivo que graba todo lo que uno dice a cambio de listas de tareas pendientes y resúmenes de la jornada.

Pero a medida que los asistentes virtuales se vuelvan más sofisticados, comprensivos y “humanos”, los límites actuales podrían desdibujarse y tener consecuencias negativas para la sociedad.

Seguir leyendo

Mas Leidas

© 2022 FM Integracion 90.1. Todos los Derechos Reservados. | Desarrollado por Conexión Streaming

FM Integracion 90.1