30 junio, 2024

¿Pueden las personas diferenciar entre contenido escrito por IA y por humanos? –

Ha habido mucho ruido en la comunidad SEO en torno a la IA y el contenido generado artificialmente durante algún tiempo, y la reciente aparición de ChatGPT ha agregado más leña al fuego.

En medio de todo este ruido, se debate si el contenido creado con inteligencia artificial es malo y si Google lo sancionará. Incluso han surgido herramientas, extensiones y métodos para ayudar a los usuarios a detectar contenido creado con inteligencia artificial, y se critica su mala calidad.

Google, a través de canales como Danny Sullivan/Search Liaison, mantiene un enfoque de “centrarse en el resultado y no en la fuente”. En ese sentido, el contenido basura, que no ofrece ningún valor y está diseñado exclusivamente para posicionarse, es malo independientemente de si lo escribió un humano o un robot, y también nos lleva de nuevo a la EEAT y a la propuesta de valor para el usuario.

Esto me lleva a una pregunta importante, dada la sensibilidad del tema y el fervor que ha recibido: ¿Podemos realmente distinguir entre un contenido escrito por una máquina y un contenido escrito por un humano?

Para hacer esto, hice que un escritor en Fiverr produjera un contenido con 81 reseñas de cinco estrellas y otro generado por ChatGPT.

Luego publiqué esto en Twitter, donde 1.164 usuarios contribuyeron a la encuesta, de los cuales el 59,8 % determinó que la muestra A fue generada por IA y el 40,2 % determinó que la muestra B fue generada por IA.

También publiqué la misma encuesta en LinkedIn, que tuvo 92 encuestados con una división de 75/25 a favor de que la muestra A fuera contenido generado por IA.

¿Es el contenido de IA realmente la muerte del SEO?

Esto también me ayudó a elegir el tema del contenido producido por la herramienta de inteligencia artificial y el escritor humano. En SEO, cada nueva tendencia aparentemente significa la muerte de nuestra industria, e incluso en mi carrera, el SEO ha muerto varias veces.

Así que el tema elegido es la Muerte, específicamente, la Muerte en el Tarot.

La razón por la que elegí este tema es porque el Tarot no es necesariamente algo común que mucha gente conozca, pero para quienes leen y practican el Tarot es un tema profundo y complejo.

En SEO, especialmente desde el lado de las agencias, oscilamos entre una multitud de temas diferentes cuando escribimos contenido para los clientes y no todo el contenido está escrito inherentemente por aquellos que han investigado las áreas temáticas adecuadamente.

La muerte del SEO; una imagen creada por un generador de imágenes de IA.

Metodología de prueba

Para esta prueba, tomé el tema del artículo ¿Qué significa la carta de la muerte en el tarot? e informó a un escritor humano con más de 80 reseñas de 5 estrellas sobre contenido en Fiverr y luego a ChatGPT.

Muestra A: /wp-content/uploads/2023/01/202301-content-v-ai-content-sample-A.pdf

Ejemplo B: /wp-content/uploads/2023/01/202301-content-v-ai-content-sample-B.pdf

No me expandí demasiado ni proporcioné estructuras o subtítulos de artículos. Quería ver la profundidad del contenido producido por ambos actores.

Esto es algo que luego revisé por un lector de tarot profesional, y luego, durante el experimento, un profesional de SEO también invirtió en Tarot y brindó comentarios adicionales.

Pensamientos del encuestado

Durante las encuestas, varios encuestados comentaron sus pensamientos, opiniones y cómo obtuvieron la respuesta de que ellos también vinieron.

A continuación se muestra una selección de sus comentarios:

Leí ambos libros de principio a fin y prefiero el B. Fue fácil de leer y me guió por el tema de manera natural. El A se lee bien, pero su estructura me resultó menos agradable (tuve que esforzarme más para concentrarme y asimilar lo que me estaba contando) e incluía algunas palabras extrañas que me hicieron reflexionar.
Es interesante. La muestra B fue mucho más fácil de leer, como si un amigo te estuviera hablando. La muestra A me sonó como un libro de texto. Sin embargo, noté un doble espacio en un lugar extraño en la muestra A, lo que me hace cuestionar si este texto fue realmente escrito por IA.
A se lee menos como si lo hubiera escrito un ser humano (según mis 30 segundos de lectura rápida de ambos). El contenido es menos atractivo, no le pide nada al lector y se basa excesivamente en describir tantos detalles como sea posible.
La muestra B es mucho más fácil de leer que la muestra A. Y los textos de IA generalmente están escritos en términos muy simples (como si los entendiera un niño de 6 años), a menos que se solicite lo contrario. Además, las oraciones de transición en el ejemplo B son muy pesadas, lo que me da una sensación de IA: «Pero una cosa es segura», «Sin embargo, es importante recordar», «Es importante tener en cuenta», «Dicho de manera más simple». , “Con esto queda mente”, “Ahora que ya entiendes mejor”, “Lo primero que debes tener en cuenta”, etc.
Elegí B como IA porque está escrito de manera más consistente en segunda persona, mientras que la primera alterna más entre segunda y tercera. Supongo que la IA evita hacerlo. Pero podría estar equivocado: tal vez seas más diligente y a la IA no le importe.
A se lee más como IA, así que elegí A. B terminó con una conclusión, que es una cosa de IA, pero A era un veredicto, lo que me confundió más, pero aún así voté A. Después de votar, lo miré una vez más y, si hay algo de lo que estoy seguro, ChatGPT no da tantos guiones largos como se ve en B.
El ejemplo B parece estar escrito por humanos, ya que, en mi opinión, tiene un tipo de elección de palabras convincente. El ejemplo tiene un componente más informativo. Creo que el uso de contenido escrito por IA en artículos informativos está bastante bien, no es necesario investigar mucho para obtener contenido viable.

¿Qué tan bueno es el contenido desde la perspectiva de un lector de Tarot?

Como esta es un área temática en la que no soy un experto, además de comprender si los usuarios pueden determinar el contenido generado por IA versus el contenido escrito por humanos, quería saber si el contenido de ambos actores era preciso.

Este fue su comentario:

(A) fue muy, muy profundo y ofreció una variedad de formas de percibir la energía de la muerte en el Tarot. El segundo, (B) era más mediocre pero aún apropiado. Nunca pude tener la sensación de que alguno de ellos fue escrito por IA, solo sonaba como si un escritor fuera mejor que el otro jajaja, así que, adivinando aquí, diría que (B) fue escrito por IA.

Y otro lector de Tarot, también en el espacio SEO, proporcionó más información sobre la precisión. Sus comentarios fueron los siguientes:

La muestra A tiene información incorrecta. Arcano Mayor 13 es La Muerte en el tarot. (La Templanza es el 14) La muestra B ha interpretado genéticamente la carta. Ésa es sólo una cara de la Carta de la Muerte. La carta de la Muerte también puede ser positiva. Representa transformación y mucho más. La muestra B hace que suene negativo, aunque intenta pintar una imagen positiva.

¿Pueden las personas diferenciar entre el contenido escrito por humanos y el contenido generado por IA?

La respuesta corta es no.

1.164 usuarios contribuyeron a la encuesta: el 59,8% determinó que la muestra A fue generada por IA y el 40,2% determinó que la muestra B fue generada por IA.

El 59,8% de los encuestados en Twitter no pudieron distinguir entre contenido escrito por humanos y contenido generado por IA. El 75% de los encuestados en LinkedIn no pudieron distinguir entre contenido escrito por humanos y contenido generado por IA.

Bonificación: ¿ChatGPT puede marcar la diferencia?

¿Qué contenido fue escrito por IA?

Como prueba adicional, mi colega Reza le dio ambas muestras de contenido a ChatGPT y le preguntó a C-GPT si podía determinar cuál

Es probable que el primer artículo (Muestra A) haya sido escrito por un humano, ya que parece ser más detallado en su análisis e interpretación de la carta de la Muerte en el tarot, y contiene un lenguaje más personal e introspectivo. El segundo artículo, en cambio, parece escrito por AI, ya que es más conciso y presenta una visión general del significado de la carta de la Muerte en el tarot. También utiliza un lenguaje más neutral y menos personal, una característica común en los textos generados por IA. Además, el primer artículo muestra más de la interpretación y comprensión personal del autor de la carta de la Muerte, que es menos común en los textos generados por IA.

Luego, mi colega Andy preguntó directamente a ChatGPT si había escrito una de las muestras proporcionándole un fragmento. La respuesta fue afirmativa, y ChatGPT aparentemente reconoció su propio trabajo:

En resumen

Así que en resumen:

El 59,8% de los encuestados en Twitter confundieron un contenido escrito por humanos con un contenido generado por IA. El 75% de los encuestados en LinkedIn confundieron un contenido escrito por humanos con un contenido generado por IA. Ambos lectores profesionales de cartas del Tarot pudieron identificar la Muestra B como generada por IA. Ambos lectores profesionales de cartas del Tarot destacaron problemas de profundidad y calidad con ambas muestras de contenido. Cuando se le pidió a ChatGPT que determinara el contenido generado por IA de ambos conjuntos, pudo determinar que la Muestra B era generada por IA.


Vistas de publicaciones: 574

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *