in

GeekyGeeky

Detectores de contenido: Inteligencia artificial para encontrar «trabajos generados»

ChatGPT asusta a los docentes. Estos servicios quieren ayudarlos.

Detectores de contenido ChatGPT

Con más de 100 millones de usuarios activos, ChatGPT ha iniciado una verdadera revolución en materia de inteligencia artificial. Previamente hemos explicado cómo conectar este chatbot a la Web, y cómo mantener una conversación más o menos fluida… pero también hay muchos conflictos. Uno de ellos es el uso de ChatGPT para escribir ensayos, resolver problemas y preparar exámenes en la escuela. La educación tradicional se siente en jaque, sin embargo, su «solución de alta tecnología» no es otra más que usar inteligencias artificiales para detectar contenido generado. Hoy exploraremos dos opciones gratuitas.


Tabla de contenidos

ChatGPT: ¿«Rincón del Vago 2.0»?

La historia del «Rincón del Vago» es en verdad fabulosa. El proyecto original fue creado por dos estudiantes cansados de luchar contra programas obsoletos, y en poco tiempo el portal alcanzó fama mundial, además de quedar envuelto en varios escándalos de alto perfil. Hoy, la sensación entre los usuarios es que ha surgido un «Rincón del Vago 2.0»… y se llama ChatGPT. Si bien nadie niega que el chatbot comete una enorme cantidad de errores (y algunos muy groseros), los últimos experimentos indican que es lo suficientemente bueno como para aprobar exámenes de diferentes materias… y los docentes no están felices.

¿Soluciones? La opinión más popular es usar una inteligencia artificial para reconocer a otra. Por supuesto, eso no está libre de desafíos, y un algoritmo demasiado estricto podría generar una ola de falsos positivos. Sin embargo, ya tenemos dos detectores a nuestra disposición. El primero es AI Text Classifier, desarrollado por OpenAI, el mismo creador de ChatGPT. Y el segundo es GPTZero, diseñado por Edward Tian de la Universidad de Princeton. Ambos son gratuitos, y lo único que piden es el ingreso con una cuenta (o credenciales alternativas como Google).


Detectores de contenido por IA: ¿Qué tan bien funcionan?

Mi «benchmark» se basa en cinco temas: Superdeterminismo, el elemento uranio, la ensalada César, el servicio francés Minitel, y la radio Volksempfänger de la Alemania Nazi. Después de pedir una descripción sobre ellos a ChatGPT, copié y pegué el texto de cada uno (puedes verlo aquí) en AI Text Classifier y GPTZero.


AI Text Classifier

«Unclear» Hmmm… no es un gran comienzo.

De inmediato nos encontramos con uno de los problemas más grandes que deberán enfrentar (y resolver) estos detectores: Sus conclusiones son limitadas. AI Text Classifier dijo que su análisis sobre el texto de superdeterminismo es «unclear», o sea, no pudo determinar con claridad si fue escrito por una inteligencia artificial. Para el texto del uranio usó la expresión «likely», pero con la ensalada César descubrimos otra restricción: El texto debe tener 1.000 caracteres o más. Finalmente, los textos de Minitel y Volksempfänger fueron calificados como «possibly». Las cinco descripciones de AI Text Classifier son «very unlikely», «unlikely», «unclear», «possibly», y «likely».


«Possibly», «Likely»… no son buenas expresiones, pero pueden mejorar

GPTZero

GPTZero aplica dos índices especiales en su evaluación

GPTZero es un poco más transparente con su análisis. En la parte inferior de la interfaz explica que utiliza dos índices: Uno de perplejidad, y el otro de «explosión» o burstiness. La perplejidad de un documento es la medida de aleatoriedad en el texto, mientras que la «explosión» mide la variación de la perplejidad. Con una combinación de estos índices, GPTZero le dio a cuatro textos una calificación de «likely», y para el texto del uranio usó la expresión «may include parts». En lo que se refiere a sus restricciones, GPTZero tiene una posición más relajada, y solicita al usuario un mínimo de 250 caracteres en el texto.


El mínimo en GPTZero es de 250 caracteres, y podemos subir archivos de texto

En resumen

Comencemos por lo obvio: El genio se escapó de la lámpara. Millones de alumnos alrededor del mundo tratarán de usar ChatGPT y otros modelos para reducir sus obligaciones. Algunos profesores ya respondieron con un «regreso» al exámen oral y los trabajos escritos a mano alzada, pero es una estrategia inviable a largo plazo. Además, la información puede ser adaptada, y nada impide a un alumno con buen conocimiento de inglés obtener un resumen de ChatGPT, para después presentar una traducción propia que será virtualmente indetectable.

En estos momentos, tanto AI Text Classifier como GPTZero apuntan en la dirección correcta, sin embargo, no están en condiciones de brindar garantías a los docentes, todo lo contrario. Los detectores ganarán capacidad y precisión, pero lo mismo sucederá con los chatbots. Si me permiten la hipérbole, «el gato y el ratón» se preparan para tirarse con algoritmos. Continuará…


AI Text Classifier: Haz clic aquí

GPTZero: Haz clic aquí


Reportar

¿Qué te pareció?

Escrito por Lisandro Pardo

2 Comments

Leave a Reply
  1. muy buenas opciones. Ahi puse a prueba con un par de textos que tenia y me los detecto como redactado por humano sin dudarlo. Ahora con un texto que fue una conversación con IA que tiene mas de 10.000 caracteres.. el AI Text Classifier lo identifico como escrito por una IA pero el GPTZero me dice que es escrito enteramente por un humano…. entonces una conclusion simple de 4 pruebas me da que GPTZero tiene margen de error de 25% 😀 …. sera cuestión de ver como avanza esta carrera de la locura en contenidos entremezclados de IA y humans writers.

  2. Será que los métodos educativos, que ya estaban medio obsoletos, ahora si quedaron totalmente en off-side y es hora de buscar nuevas formas de enseñar, de evaluar y de aprovechar la tecnología.

    Ya no se enseña a usar reglas de cálculo, pero si calculadoras electrónicas. ¿Será hora de aprender a usar las IA?

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

Tiradero Visual de la Semana (N°278)

Half-Life Ray-Tracing

Half-Life, el inolvidable clásico de Valve, ahora con ray tracing