Menu
in

Detectores de contenido: Inteligencia artificial para encontrar «trabajos generados»

ChatGPT asusta a los docentes. Estos servicios quieren ayudarlos.

Detectores de contenido ChatGPT

Con más de 100 millones de usuarios activos, ChatGPT ha iniciado una verdadera revolución en materia de inteligencia artificial. Previamente hemos explicado cómo conectar este chatbot a la Web, y cómo mantener una conversación más o menos fluida… pero también hay muchos conflictos. Uno de ellos es el uso de ChatGPT para escribir ensayos, resolver problemas y preparar exámenes en la escuela. La educación tradicional se siente en jaque, sin embargo, su «solución de alta tecnología» no es otra más que usar inteligencias artificiales para detectar contenido generado. Hoy exploraremos dos opciones gratuitas.


ChatGPT: ¿«Rincón del Vago 2.0»?

La historia del «Rincón del Vago» es en verdad fabulosa. El proyecto original fue creado por dos estudiantes cansados de luchar contra programas obsoletos, y en poco tiempo el portal alcanzó fama mundial, además de quedar envuelto en varios escándalos de alto perfil. Hoy, la sensación entre los usuarios es que ha surgido un «Rincón del Vago 2.0»… y se llama ChatGPT. Si bien nadie niega que el chatbot comete una enorme cantidad de errores (y algunos muy groseros), los últimos experimentos indican que es lo suficientemente bueno como para aprobar exámenes de diferentes materias… y los docentes no están felices.

¿Soluciones? La opinión más popular es usar una inteligencia artificial para reconocer a otra. Por supuesto, eso no está libre de desafíos, y un algoritmo demasiado estricto podría generar una ola de falsos positivos. Sin embargo, ya tenemos dos detectores a nuestra disposición. El primero es AI Text Classifier, desarrollado por OpenAI, el mismo creador de ChatGPT. Y el segundo es GPTZero, diseñado por Edward Tian de la Universidad de Princeton. Ambos son gratuitos, y lo único que piden es el ingreso con una cuenta (o credenciales alternativas como Google).


Detectores de contenido por IA: ¿Qué tan bien funcionan?

Mi «benchmark» se basa en cinco temas: Superdeterminismo, el elemento uranio, la ensalada César, el servicio francés Minitel, y la radio Volksempfänger de la Alemania Nazi. Después de pedir una descripción sobre ellos a ChatGPT, copié y pegué el texto de cada uno (puedes verlo aquí) en AI Text Classifier y GPTZero.


AI Text Classifier

«Unclear» Hmmm… no es un gran comienzo.

De inmediato nos encontramos con uno de los problemas más grandes que deberán enfrentar (y resolver) estos detectores: Sus conclusiones son limitadas. AI Text Classifier dijo que su análisis sobre el texto de superdeterminismo es «unclear», o sea, no pudo determinar con claridad si fue escrito por una inteligencia artificial. Para el texto del uranio usó la expresión «likely», pero con la ensalada César descubrimos otra restricción: El texto debe tener 1.000 caracteres o más. Finalmente, los textos de Minitel y Volksempfänger fueron calificados como «possibly». Las cinco descripciones de AI Text Classifier son «very unlikely», «unlikely», «unclear», «possibly», y «likely».


«Possibly», «Likely»… no son buenas expresiones, pero pueden mejorar

GPTZero

GPTZero aplica dos índices especiales en su evaluación

GPTZero es un poco más transparente con su análisis. En la parte inferior de la interfaz explica que utiliza dos índices: Uno de perplejidad, y el otro de «explosión» o burstiness. La perplejidad de un documento es la medida de aleatoriedad en el texto, mientras que la «explosión» mide la variación de la perplejidad. Con una combinación de estos índices, GPTZero le dio a cuatro textos una calificación de «likely», y para el texto del uranio usó la expresión «may include parts». En lo que se refiere a sus restricciones, GPTZero tiene una posición más relajada, y solicita al usuario un mínimo de 250 caracteres en el texto.


El mínimo en GPTZero es de 250 caracteres, y podemos subir archivos de texto

En resumen

Comencemos por lo obvio: El genio se escapó de la lámpara. Millones de alumnos alrededor del mundo tratarán de usar ChatGPT y otros modelos para reducir sus obligaciones. Algunos profesores ya respondieron con un «regreso» al exámen oral y los trabajos escritos a mano alzada, pero es una estrategia inviable a largo plazo. Además, la información puede ser adaptada, y nada impide a un alumno con buen conocimiento de inglés obtener un resumen de ChatGPT, para después presentar una traducción propia que será virtualmente indetectable.

En estos momentos, tanto AI Text Classifier como GPTZero apuntan en la dirección correcta, sin embargo, no están en condiciones de brindar garantías a los docentes, todo lo contrario. Los detectores ganarán capacidad y precisión, pero lo mismo sucederá con los chatbots. Si me permiten la hipérbole, «el gato y el ratón» se preparan para tirarse con algoritmos. Continuará…


AI Text Classifier: Haz clic aquí

GPTZero: Haz clic aquí


Escrito por Lisandro Pardo

Leave a Reply