أظهرت دراسة علمية حديثة أن المشاركين البشر تفوقوا على نماذج الذكاء الاصطناعي في التمييز بين النصوص البشرية والآلية خلال تجربة اعتمدت على أوصاف شخصية مكتوبة بالألمانية، رغم قدرة النماذج على إنتاج أنماط لغوية تعكس سمات شخصية محددة واستنتاج بعضها من نصوص قصيرة. وبلغ متوسط دقة البشر في تحديد مصدر النصوص 83.14 في المائة، مقابل 66.90 في المائة للنماذج اللغوية المشاركة في التقييم.
وأجرى الدراسة باحثون من قسم علم النفس في جامعة يوهانس غوتنبرغ بمدينة ماينز الألمانية، ونُشرت في دورية «ساينتيفيك ريبورتس» بعنوان «التعبير عن الشخصية وإدراكها لدى النماذج اللغوية الكبيرة والبشر».
وتناولت الدراسة ثلاثة أسئلة مترابطة، تتعلق بمدى قدرة النماذج اللغوية على إنتاج أنماط لغوية تتوافق مع سمات شخصية معينة، وإمكان استنتاج هذه السمات من النصوص، ومدى قدرة البشر والآلات على تحديد ما إذا كان كاتب النص إنساناً أم نموذج ذكاء اصطناعي.
شملت التجربة 70 مشاركاً بشرياً وسبعة نماذج لغوية، هي «تشات جي بي تي 4o» و«تشات جي بي تي 3.5» و«لاما 3» و«جيما» و«جيميناي» و«فاي 3» و«أوركا 2». وطلب الباحثون من المشاركين والنماذج الإجابة عن استبيانات نفسية معتمدة لقياس السمات الشخصية الخمس الكبرى، وهي الانفتاح على التجارب ويقظة الضمير والانبساط والتوافق والعصابية إلى جانب تقدير الذات والنرجسية.
كما طُلب منهم تقديم أوصاف مكتوبة عن أنفسهم، من خلال أسئلة تناولت طريقة رؤيتهم لذواتهم، وكيف يعتقدون أن الآخرين ينظرون إليهم، وتطلعاتهم المستقبلية، وسلوكهم في حالات الضغط وعدم اليقين.
وأنتج كل نموذج لغوي عشرة نصوص، ليصل إجمالي المواد التي خضعت للتقييم إلى 140 نصاً، نصفها كتبه مشاركون بشر والنصف الآخر أنتجته النماذج السبعة.
واستخدم الباحثون اللغة الألمانية في التفاعل مع النماذج، لضمان قابلية المقارنة مع المشاركين البشر الناطقين بها. وفي المرحلة التالية، تولى عشرة مقيّمين بشر وستة نماذج لغوية تقييم النصوص، من خلال تقدير السمات الشخصية التي تعكسها، وتحديد ما إذا كان كاتب كل نص إنساناً أم نموذج ذكاء اصطناعي.
كشفت نتائج الاستبيانات عن اختلافات واضحة بين النماذج اللغوية في الطريقة التي تعبّر بها عن سمات الشخصية؛ إذ أنتج كل منها أنماطاً مميزة نسبياً ضمن ظروف الاختبار. وعند مقارنة متوسط نتائج النماذج السبعة بإجابات المشاركين البشر، سجلت النماذج درجات أعلى في التوافق ويقظة الضمير، ودرجات أقل في العصابية، وهي السمة المرتبطة بالميل إلى المشاعر السلبية وعدم الاستقرار الانفعالي.
وأظهر اختبار أُعيد إجراؤه بعد يوم واحد درجة مرتفعة من الاتساق في نتائج السمات الخمس الكبرى، بمعامل ارتباط بلغ 0.88، وهو مستوى وصفه الباحثون بأنه قابل للمقارنة مع القيم المسجلة عادة في العينات البشرية. لكن هذا الاتساق يتعلق بالاستجابات المسجلة في ظروف التجربة، ولا يثبت امتلاك النماذج سمات شخصية ثابتة أو مستقلة عن التعليمات التي تتلقاها. ويؤكد الباحثون أن هذه النتائج تعكس أنماطاً في توليد الإجابات، وليست دليلاً على وجود شخصية بشرية فعلية لدى الأنظمة. كما لاحظوا أن الاختلافات بين النماذج كانت أكثر وضوحاً في إجابات الاستبيانات المباشرة مقارنة بتقييمات الشخصية المستخلصة من النصوص الحرة؛ ما يشير إلى تأثير طريقة طرح الأسئلة في الصورة التي يقدمها النموذج عن نفسه.
لم تقتصر التجربة على تحديد مصدر النصوص، بل اختبرت قدرة المقيّمين على استنتاج سمات الشخصية البشرية اعتماداً على أوصاف مكتوبة قصيرة، ومقارنتها بالنتائج التي أفصح عنها المشاركون في الاستبيانات.
وأظهرت النتائج أن المقيّمين البشر والنماذج اللغوية استطاعوا تقدير ست سمات من أصل سبع بدقة تتجاوز مستوى المصادفة، في حين لم تحقق تقديرات النرجسية المستوى نفسه.
وبلغ متوسط معامل الارتباط بين أحكام المقيمين البشر ونتائج الاستبيانات 0.28، مقابل 0.33 لدى النماذج اللغوية. ويشير ذلك إلى تفوق محدود للنماذج في هذه المهمة ضمن عينة الدراسة، مع تقارب الأداء بين الطرفين.
كما سجل الباحثون اختلافات في طريقة تقييم النصوص. فقد منح المقيمون البشر النصوص التي أنتجها الذكاء الاصطناعي درجات أعلى من النصوص البشرية في معظم السمات الشخصية التي خضعت للقياس.
أما النماذج اللغوية المستخدمة في التقييم، فقد مالت عموماً إلى منح درجات أعلى للانفتاح ويقظة الضمير والتوافق وتقدير الذات، ودرجات أقل للنرجسية، مقارنة بتقييمات المقيّمين البشر.
وتوضح النتائج أن الكلمات المستخدمة في وصف الذات يمكن أن تنقل انطباعات شخصية قابلة للقياس، حتى عندما يكون مصدرها نموذجاً لغوياً لا تثبت هذه النتائج امتلاكه سمات شخصية فعلية.
عندما انتقل الباحثون إلى اختبار القدرة على التمييز بين الكتابة البشرية والآلية، ظهر تفوق أكثر وضوحاً للمقيّمين البشر في هذه التجربة. فقد بلغ متوسط دقتهم 83.14 في المائة، مقارنة مع 66.90 في المائة للنماذج اللغوية. وتمكنت المجموعتان من التعرف على النصوص البشرية بصورة صحيحة في 95 في المائة من الحالات، لكن الفارق ظهر عند التعامل مع النصوص المنتجة آلياً.
إذ نجح المقيّمون البشر في تحديد 71 في المائة من النصوص التي كتبها الذكاء الاصطناعي، في حين لم تتجاوز النسبة 38 في المائة لدى النماذج المستخدمة في التقييم. وسجل نموذجا «جيما» و«جيميناي» أفضل النتائج بين المقيمين الآليين؛ إذ اقترب أداؤهما من متوسط دقة المقيّمين البشر. كما لاحظ الباحثون ميلاً لدى الطرفين إلى تصنيف النصوص على أنها بشرية، حتى عندما يكون مصدرها نموذجاً لغوياً. ولم تظهر النماذج قدرة أفضل على التعرف على النصوص التي أنتجتها هي نفسها، مقارنة بالنصوص الأخرى.
لفهم أسباب هذه الفروق، استخدم الباحثون أداة التحليل اللغوي «LIWC»، التي تفحص المفردات وأنماط استخدام الكلمات والعلامات المرتبطة بالمشاعر والعمليات المعرفية وغيرها.
وأظهر التحليل أن النصوص المنتجة بواسطة النماذج اللغوية كانت أطول بصورة ملحوظة، واستخدمت مفردات وظيفية وتعبيرات مرتبطة بالزمن والعلاقات بدرجة أكبر. في المقابل، تضمنت النصوص البشرية مفردات أكثر ارتباطاً بالمشاعر والأنشطة الترفيهية.
وتوافقت هذه النتائج مع تفسيرات المشاركين لطريقة اتخاذ قراراتهم؛ إذ أشار ثمانية من أصل عشرة مقيّمين بشر إلى طول النص بوصفه إحدى العلامات التي دفعتهم للاعتقاد بأنه مكتوب بالذكاء الاصطناعي.
كما ذكر ستة منهم أن اللغة التحليلية المفرطة أو التقنية أو شديدة الصياغة كانت من المؤشرات التي اعتمدوا عليها.
ولمعرفة مدى تأثير طول النص وحده؛ أعاد الباحثون تحليل مجموعة فرعية من النصوص بعد تقليل الفروق في أطوالها. وانخفض متوسط دقة البشر إلى 74.29 في المائة، في حين بلغت دقة النماذج 67.38 في المائة.
وتشير هذه النتيجة إلى أن طول النص كان مؤشراً مهماً للمقيّمين البشر، لكنه لم يكن العامل الوحيد الذي مكّنهم من التمييز بين الكتابة البشرية والآلية.
يشير الباحثون إلى أن النتائج مرتبطة بالنماذج المختبرة وطريقة صياغة التعليمات وإعدادات توليد النصوص، ولا يمكن تعميمها تلقائياً على جميع أنظمة الذكاء الاصطناعي أو اللغات. كما أن حجم العينة محدود، والنصوص كُتبت بالألمانية ضمن مهام تتعلق بوصف الذات؛ ما يجعل النتائج مختلفة بطبيعتها عن اختبارات الأخبار أو المقالات أو المحادثات اليومية.
وتؤكد الدراسة أن ظهور سمات شخصية متسقة في إجابات النماذج لا يثبت امتلاكها شخصية فعلية، محذرة من الخلط بين محاكاة الصفات البشرية من خلال اللغة ووجود خصائص نفسية مستقرة وراء هذه الاستجابات. ويناقش الباحثون الاستخدامات المحتملة للنماذج اللغوية في تقييم الأفراد، بما في ذلك مجالات الصحة النفسية والموارد البشرية، مع التشديد على ضرورة إخضاع مثل هذه التطبيقات لتقييمات أخلاقية دقيقة، خصوصاً عندما تتصل بقرارات تؤثر في حياة الأشخاص.
كما تدعو الدراسة إلى تعزيز الشفافية في تعريف المستخدمين بالمحتوى المنتج آلياً؛ لتجنب إضفاء صفات بشرية على الأنظمة أو منحها ثقة تتجاوز ما تسمح به قدراتها الفعلية. ويقترح الباحثون توسيع الاختبارات مستقبلاً لفهم كيف يؤثر إدراك المستخدمين لشخصية النماذج اللغوية في طبيعة تفاعلهم معها، ومدى تغير القدرة على التمييز بين الإنسان والآلة مع تطور الأجيال الجديدة من هذه الأنظمة.
