sábado, 25 de febrero de 2023

No confíes en que una IA te pueda ayudar a detectar que un texto fue escrito por una IA (al menos por ahora)

Desde hace unos meses vengo trabajando, estudiando, escribiendo e investigando casi a diario temas vinculados a la Inteligencia Artificial (IA) y la Educación. A principios de febrero publiqué a la venta un infoproducto llamado Inteligencia Artificial para Educadores. Guía básica en Español. Y es que todo esto de la IA rápidamente se convirtió en uno de los temas que se encuentran en la cresta de la ola en el mundo de la educación y las cuestiones que nos interesan, preocupan y ocupan.

Educadores y estudiantes de todo el mundo están hablando sobre cómo la IA podría transformar el aprendizaje, la enseñanza y mejorar la calidad educativa, muchos comenzando a experimentar y compartir sus experiencias, y no es para menos ya que la IA tiene el potencial de personalizar el aprendizaje, adaptarlo a las necesidades individuales de cada estudiante, proporcionar retroalimentación en tiempo real, predecir rendimiento y muchas cosas más.

Y es muy probable también que amedida que la IA continúa evolucionando y mejorando, siga siendo un tema de gran interés en la educación durante los próximos años. Es por esto que es justo decir que junto con las ventajas que ofrece la IA en diversos campos, surge la preocupación por la posibilidad del surgimiento masivo de problemas vinculados a distintas cuestiones, entre las que se encuentran las serias dificultades actuales para detectar si algo fue creado o no por una IA, especialmente en el caso de los textos (imágenes y otras formas, aún no poseen herramientas tan rápidas, accesibles y masivas). No obstante vale aclarar que una imagen generada por IA podría ser utilizada para difundir desinformación o manipular la opinión pública, sin que sea evidente que dicha imagen no es real. Esto plantea importantes desafíos en cuanto a la regulación y el uso responsable de la IA, así como la necesidad de desarrollar herramientas para detectar y prevenir el uso malintencionado de esta tecnología.

Volviendo al caso del texto, que es tal vez el que más nos preocupa en Educación por ahora, hice una prueba con 3 páginas bastante populares que detectan si algo fue escrito o no con inteligencia artificial. Y las sometí a evaluación con un texto fácil (aparentemente) ya que fue generado enteramente por una IA.

Los resultados tal vez te sorprenderán.

Lo primero que hice fue ir a Chatgpt y pedirle que escriba un tuit, en el estilo que normalmente lo hago en Twitter. El texto que me devolvió, más allá de que sea bueno o no, o que tenga que ver con mi estilo y otras cuestiones anecdóticas, fue un texto que copié completo, sin modificar ni un punto, ni una coma… y me lo llevé para probar cómo funcionaban las herramientas de detección de… ¿“humanidad” podríamos decir?.

Aquí una captura de cómo se lo pedí a a Chatgpt:

A continuación me fui a probar estas tres herramientas (fuente ThinkBig):

  • GPTZero: Desarrollado por Edward Tian, estudiante de la Universidad de Princeton, GPTZero es una herramienta capaz de detectar los textos escritos por un chatbot, basándose en la «perplejidad» o aleatoriedad del texto, una medida de lo bien que un bot puede predecir un texto. O sea, entre más alto sea este indicador, más caos habrá en el escrito y, por lo tanto, más probabilidad de que haya sido creado por una herramienta como ChatGPT.
  • ChatGPT Detector: ChatGPT Detector tiene el poder de detectar si un texto es producido por ChatGPT, valiéndose de funciones lingüísticas o clasificadores basados ​​en PLM. Los resultados de sus análisis son calificados como humano o ChatGPT, aportando un porcentaje de probabilidad.
  • Writer: Writer es un asistente de escritura de IA para equipos, que además incorpora un detector de contenido generado por herramientas de inteligencia artificial. Es muy fácil de utilizar. Solo hay que pegar en la aplicación el texto o la URL donde se encuentra alojado, y en cuestión de segundos el sistema realiza un análisis que arroja un resultado de probabilidad de que el escrito haya sido generado por un humano.

Como expliqué anteriormente, sin modificar absolutamente nada de lo que le pedí que escriba Chatgpt, me lo llevé para GPTZero, Writer y ChatGPT Detector.

Y en principio mi “prejuicio” estaba en la línea de que “solo la IA será capaz de detectar si un texto está escrito por una IA” pero la experimentación (spoiler) giró levemente mi opinión al menos por ahora.

El resultado del experimento fue el siguiente, lo comparto uno a uno, con el enlace al cual hay que referirse para probar, la respuesta que obtuve y una captura de pantalla a modo de documentación del proceso.

HERRAMIENTA N° 1

GPTZero: https://gptzero.me/

Resultado: Es probable que tu texto haya sido escrito enteramente por un HUMANO.

HERRAMIENTA N° 2

Writer: https://writer.com/ai-content-detector/

Resultado: 100% contenido generado por un HUMANO.

HERRAMIENTA N° 3

ChatGPT Detector: https://huggingface.co/spaces/Hello-SimpleAI/chatgpt-detector-single

Resultado: Predicción 🎃 : HUMANO.

Conclusión:

Ya saben amigos, al menos por ahora no confíen en la IA para detectar si algo fue escrito por una IA.

¡Larga vida a la función y rol docente!

Si te sirvió esta entrada ¡compártela!

Hasta la próxima.