Saltar al contenido

¿Qué tan efectivos son los detectores de texto de IA?

Herramientas de inteligencia artificial para detectar plagio académico

Dale un Me Gusta a este post 🙂

¿Por qué importa detectar textos de Inteligencia Artificial (IA)?

Ahora les mostraré un estudio que se hice está pregunta, pero por sobre todo si se puede identificar adecuadamente si un texto fue o no escrito o generado por una IA, según los modelos disponibles donde se analizó la eficacia de cinco herramientas de detección de contenido generado por inteligencia artificial (IA): OpenAI Classifier, Writer, Copyleaks, GPTZero y CrossPlag.

Esto es importante para poder diferenciar de lo desarrollado por un humano o es plagiado por una IA. Entonces el estudio evaluó si estas herramientas pueden diferenciar entre textos humanos y textos producidos por ChatGPT (Modelos 3.5 y 4). 

¿Cómo se puso a prueba los distintos modelos de análisis?

Se generaron 15 párrafos con GPT-3.5, 15 con GPT-4, y se usaron 5 textos escritos por estudiantes como control.

Los detectores de IA clasificaron el contenido según distintos niveles de probabilidad de ser IA. Donde se midieron: sensibilidad (capacidad para detectar IA), especificidad (capacidad para reconocer texto humano) y valores predictivos.

Y ¿cuáles fueron sus resultados?

Aspecto evaluadoHallazgos principales
Rendimiento con GPT-3.5Los detectores identificaron con bastante precisión los textos de este modelo.
Rendimiento con GPT-4Hubo más dificultades: múltiples falsos negativos y clasificaciones inciertas, lo que muestra que GPT-4 es más difícil de detectar.
Textos humanosAlgunos párrafos escritos por personas fueron clasificados erróneamente como IA (falsos positivos).
OpenAI ClassifierAlta sensibilidad (detecta bien textos de IA), pero baja especificidad (confunde textos humanos con IA).
CrossPlagMuy buena especificidad (reconoce textos humanos), pero débil frente a textos de IA avanzada como GPT-4.
GPTZeroOfreció el desempeño más equilibrado entre sensibilidad y especificidad.

Y el más popular, ¿Qué pasa con Turnitin?

A todo nivel académico, cuando se habla de plagio, el primer nombre que aparece casi siempre es Turnitin. Durante años ha sido la herramienta más utilizada en universidades de todo el mundo para detectar similitudes y asegurar la integridad académica. Pero, ¿qué tan preparado está realmente frente al nuevo escenario que plantea la inteligencia artificial (IA)?

AspectoTurnitin hoyLimitaciones frente a IAQué recomiendan los expertos
Fortaleza principalDetecta plagio clásico con gran precisión: copiar/pegar, coincidencias en bases de datos y trabajos previos.No identifica bien ghostwriting ni textos generados por IA, porque no existen en ninguna base de datos.Usarlo en conjunto con detectores de IA (Copyleaks, GPTZero, etc.).
Base de datosGigantesca colección de publicaciones, webs y trabajos estudiantiles.La IA genera texto original “inédito”, sin coincidencias directas.Actualizar y ampliar constantemente las bases de datos con nuevos patrones de IA.
Detector de IALanzó recientemente un módulo para identificar escritura con IA.Los estudios revisados indican que aún no ha sido evaluado ampliamente ni demostrado confiable.No depender solo de Turnitin; usar revisión manual y criterios pedagógicos.
ConclusiónÚtil y confiable para plagio tradicional.Insuficiente frente a IA generativa como ChatGPT.Enfoque integral: tecnología + revisión docente + educación en integridad.

Conclusión

Finalmente, los detectores actuales (incluido Turnitin) son solo herramientas y una parte de la solución. La irrupción de la IA ha cambiado las reglas del juego y obliga a los docentes e instituciones universitarias a repensar sus estrategias: no se trata solo de perseguir el plagio, sino de educar, prevenir y adaptar la evaluación a la nueva era digital. Pero por el momento no hay una sola estrategia que sea 100 por ciento fiable para asegurar que la copia de textos desde las IA, puede ser ser realmente útil para detectar el plagio en los trabajos entregados por los alumnos. 

¿Quieres profundizar en este tema?

Accede a nuestros cursos y masterclass sobre kinesiología respiratoria y fisioterapia basada en evidencia.

Ver cursos de Kineed →