En la era de la inteligencia artificial, se ha vuelto cada vez más común encontrarnos con textos generados por máquinas en diversos contextos. Sin embargo, confiar plenamente en la capacidad de una IA para detectar si un texto ha sido escrito por otra IA es un desafío que aún está en evolución. Aunque se han logrado avances significativos en este campo, es importante reconocer que las herramientas actuales no son tan precisas como desearíamos. En este post, exploraremos por qué es crucial ser cautelosos y no depender completamente de la capacidad de una IA para detectar textos generados por sus pares.
Este lindo primer párrafo se lo pedí a ChatGPT a propósito de haber realizado nuevamente una prueba que hice hace 3 meses, y fruto de la cual escribimos por aquí que no deberías confiar en que una IA te pueda ayudar a detectar que un texto fue escrito por una IA (al menos por ahora). Reafirmamos ahora, que sigas desconfiando. Volvimos a realizar prácticamente la misma prueba, pero dándole un poco más de chances a las herramientas. En vez de un único tuit, le pedí que redacte un mini hilo de tres tuits, y el resultado de las pruebas, con tres herramientas de IA que sirven para detectar textos escritos por IA, fue contundente. Aún no debes confiar en que una IA pueda detectar textos escritos por una IA.
En esta oportunidad le pedí que escriba un tuit como si fuera yo (@pbongiovanni) y como me di cuenta que podía ampliar un poco la prueba, inmediatamente le pedí que escriba un hilo.
Aquí una captura del "prompt" y sus correspondientes respuestas, realizadas hoy 26 de mayo de 2023.
Un detalle para aclarar, es que a pesar de que le pedí que escriba tuits, y a primera vista parecen bien construidos (con hashtags y todo), tuve que quitar algunos caracteres, porque eran más del límite de 280 que es el que tengo actualmente en mi cuenta.
Entonces, a la vez que hacía la prueba, los publiqué con este formato:
Vamos ahora a las pruebas.
Lo que hice fue ir copiando desde ChatGPT, no desde mis tuits, para no "contaminar la muestra" y los fui colocando de a uno, en los mismos tres detectores que había usado hace tres meses en este orden:
GPTZero: Desarrollado por Edward Tian, estudiante de la Universidad de Princeton, GPTZero es una herramienta capaz de detectar los textos escritos por un chatbot, basándose en la «perplejidad» o aleatoriedad del texto, una medida de lo bien que un bot puede predecir un texto. O sea, entre más alto sea este indicador, más caos habrá en el escrito y, por lo tanto, más probabilidad de que haya sido creado por una herramienta como ChatGPT.
Writer: Writer es un asistente de escritura de IA para equipos, que además incorpora un detector de contenido generado por herramientas de inteligencia artificial. Es muy fácil de utilizar. Solo hay que pegar en la aplicación el texto o la URL donde se encuentra alojado, y en cuestión de segundos el sistema realiza un análisis que arroja un resultado de probabilidad de que el escrito haya sido generado por un humano.
ChatGPT Detector: ChatGPT Detector tiene el poder de detectar si un texto es producido por ChatGPT, valiéndose de funciones lingüísticas o clasificadores basados en PLM. Los resultados de sus análisis son calificados como humano o ChatGPT, aportando un porcentaje de probabilidad.
Ahora aquí capturas hechas con el primer detector: https://gptzero.me/
Primer tuit:
Tercer tuit:
La conclusión primera fue que en los tres detectores, los tres tuits, fueron interpretados como escritos 100% por un humano. Ahora bien, inmediatamente me di cuenta que el problema podía llegar a ser el idioma, ya que los detectores están en Inglés.
Sí, ese último párrafo fue escrito por una IA, y como dijimos hace 3 meses: ¡Larga vida a la función y rol docente!
Si te sirvió esta entrada ¡compártela!
Hasta la próxima.
