أظهرت دراسة جديدة أن نماذج الذكاء الاصطناعي قد تتغير استجاباتها بمرور الوقت داخل المحادثات الطويلة، خصوصًا عندما يكرر المستخدم معلومات خاطئة أو يصرّ عليها حتى بعد أن يرفضها الروبوت في البداية. وتكشف النتائج أن المشكلة لا تقتصر على “الهلاوس” أو إعطاء معلومة غير دقيقة من تلقاء نفسها، بل تمتد إلى سلوك النموذج أثناء التفاعل: فقد يتأثر بالإصرار، وتظهر أحيانًا حالة من عدم الاستقرار في موقفه تجاه المعلومة المضللة.
اعتمد باحثون من جامعة أريزونا اختبارًا منهجيًا لتقييم مقاومة عدة نماذج للذكاء الاصطناعي للمعلومات المضللة خلال محادثات ممتدة. شملت التجربة سبعة نماذج هي: GPT-3.5 وGPT-4o وGPT-4o-mini، وClaude 3.5 Sonnet، وGemini 1.5 Pro، وLlama-3-70B، وDeepSeek-R1. ونشرت الدراسة في دورية Scientific Reports التابعة لمجموعة Nature.
كيف تم اختبار قابلية التلاعب؟
لم يكتفِ الباحثون بتقديم سؤال واحد لكل نموذج، بل صمموا تجربة أكثر واقعية من تفاعلات الاستخدام اليومية. فقد قدّموا للنماذج 100 عبارة خاطئة عمدًا، تراوحت بين معلومات “واضحة الخطأ” وأخرى غامضة يصعب التحقق منها. ثم أعاد الباحثون إدراج هذه العبارات داخل محادثات متتابعة لفترات طويلة، وارتفع التكرار في بعض السيناريوهات إلى 50 مرة.
هدفت هذه المقاربة إلى قياس ما إذا كان النموذج سيظل متمسكًا بإجابته الصحيحة أم سيتأثر بتكرار المستخدم للمعلومة نفسها. وقد أظهرت النتائج أن النماذج السبعة تأثرت بدرجات متفاوتة، إذ تراوحت معدلات تأكيد المعلومات المضللة بعد التكرار بين 0.08% و12.3%، وهو فرق كبير يعكس اختلافًا جوهريًا في “مناعة” كل نموذج تجاه الإقناع المتكرر.
GPT-3.5 الأكثر عرضة.. وClaude أقل تأثرًا
بينت الدراسة أن GPT-3.5 كان الأكثر قابلية لتأكيد المعلومات الكاذبة عند تكرارها داخل حوار طويل. في المقابل، سجل Claude 3.5 Sonnet أقل معدل لتأكيد المعلومات المضللة. لكن الباحثين شددوا على نقطة مهمة: أداء النماذج في اختبارات قصيرة أو عند سؤال واحد لا يعكس بالضرورة سلوكها في محادثة مطوّلة، حيث تتغير ديناميكيات التفاعل مع استمرار الحوار وزيادة الضغط من المستخدم.
ظاهرة “التردد الحواري”: رفض ثم تصديق ثم عودة للرفض
رصدت الدراسة أيضًا سلوكًا لافتًا أطلق عليه الباحثون اسم “التردد الحواري” أو Conversational Reverberation. ويحدث ذلك عندما ينتقل النموذج بين قبول المعلومة الخاطئة ورفضها عبر رسائل متتالية؛ فقد يرفض الادعاء في رد، ثم يوافق عليه لاحقًا، قبل أن يعود إلى رفضه مجددًا. وتُعد هذه الظاهرة مؤشرًا على أن المشكلة ليست فقط في إنتاج إجابة خاطئة، بل في عدم استقرار موقف النموذج ذاته داخل السياق الحواري.
لماذا تزيد المعلومات الغامضة القابلية للخداع؟
وجد الباحثون أن النماذج كانت أكثر عرضة لقبول المعلومات المضللة عندما تتعلق بموضوعات غامضة أو غير شائعة. كما أظهرت الدراسة ارتباطًا إحصائيًا بين “درجة الغموض” واحتمال قبول النموذج للمعلومة في سيناريو التكرار. وبعبارة أخرى، يبدو أن كمية المعلومات المتاحة للنموذج حول موضوع ما تلعب دورًا في قدرته على مقاومة الادعاءات الكاذبة؛ فالمعلومة الواسعة والشائعة قد تكون أكثر قدرة على مواجهتها، بينما تزيد قابلية التأثر مع القضايا المتخصصة أو النادرة أو التي يصعب التحقق منها.
ماذا يحدث عند تحوّل الحوار إلى جدال؟
لم تقتصر التجربة على التكرار وحده، بل اختبرت كذلك تأثير “الضغط الجدلي” أو الإصرار المتزايد على إقناع النموذج بالمعلومة الخاطئة. في هذا الاختبار، كان DeepSeek-R1 الأكثر تأثرًا، إذ ارتفعت نسبة قبوله للمعلومات المضللة من نحو 1% في اختبار التكرار إلى 22.2% عند تصاعد حدة الجدل.
لكن الباحثين أشاروا إلى تحفظ: كان DeepSeek-R1 يميل أحيانًا إلى استخدام السخرية والفكاهة في الردود، ما قد يجعل من الصعب التفريق بين “موافقة حقيقية” وبين رد يحمل طابعًا ساخِرًا أو تمثيليًا.
الخبر الجيد: بعض النماذج تستطيع تصحيح أخطائها
رغم النتائج المقلقة، كشفت الدراسة عن جانب إيجابي يتعلق بإمكانية تصحيح بعض النماذج لأخطائها. ففي سيناريو “الفرصة الثانية” لإعادة النظر، تمكنت أربعة نماذج—GPT-4o وGPT-4o-mini وGemini 1.5 Pro وDeepSeek-R1—من تصحيح أخطائها بنسبة 100% ضمن الاختبار المستخدم.
ومع ذلك، لفتت الدراسة إلى مفارقة مهمة: انخفاض معدل الخطأ لا يعني بالضرورة امتلاك النموذج أفضل قدرة على تصحيح الأخطاء النادرة التي قد يقع فيها. لذلك، لا ينبغي الاكتفاء بمؤشر “عدد الأخطاء” كمعيار وحيد للموثوقية.
لماذا تهم هذه النتائج مستخدمي ChatGPT وGemini وغيرها؟
تقدم الدراسة رسالة أكثر تعقيدًا من سؤال “هل الذكاء الاصطناعي يهلوس؟”. فالتركيز ينتقل إلى سؤال: ماذا يحدث عندما يستمر المستخدم في الضغط على النموذج؟ قد تبدأ المحادثة بإجابة صحيحة أو رفض معلومة خاطئة، لكن تكرار الادعاء أو تعديل صياغته أو تصعيد النقاش يمكن أن يغير الإجابة في بعض الحالات.
وهذا يعني أن تقييم موثوقية نماذج الذكاء الاصطناعي بناءً على تفاعل واحد فقط قد يكون مضللًا، خصوصًا عندما تكون الدقة مسألة حاسمة مثل المجالات الطبية، القانونية، أو التقنية المعتمدة على حقائق.
ثقة الروبوت لا تعني صحة المعلومة
تشير النتائج كذلك إلى أن “ثقة” الروبوت في عباراته—المتمثلة في الطلاقة واللغة الواثقة—لا تعني بالضرورة أن الإجابة صحيحة. فقد تكون هناك حالة من عدم اليقين أو حتى معلومة خاطئة يتم تقديمها بأسلوب مقنع. كما أن استمرار المحادثة لا يضمن تحسن الدقة تلقائيًا؛ في بعض الظروف قد يحدث العكس.
لذلك، يظل التحقق من المصادر الخارجية ضروريًا عند التعامل مع معلومات حساسة أو غير مؤكدة، خصوصًا إذا كانت المعلومة نادرة أو متخصصة.
حدود اختبارات الذكاء الاصطناعي التقليدية
وترى الدراسة أن نقاط الضعف التي ظهرت لا تظهر دائمًا في الاختبارات التقليدية التي تعتمد على سؤال منفرد ثم إجابة منفصلة. فالواقع العملي يتميز بحوارات طويلة تتضمن تكرارًا وإقناعًا وضغطًا وجدالًا. ومن ثم، تقترح الدراسة أن تقييم سلامة وموثوقية نماذج الذكاء الاصطناعي يجب أن يأخذ في الاعتبار ديناميكيات المحادثة المستمرة، وليس فقط دقة الرد الأول.
في النهاية، لا تقول الدراسة إن نماذج الذكاء الاصطناعي ستصدق أي معلومة يكررها المستخدم، لكنها توضّح أن التكرار والضغط الحواري قد يكشفان نقاط ضعف لا تظهر في التفاعلات القصيرة، وأن مقاومة المعلومات المضللة تختلف بشكل كبير من نموذج إلى آخر.
التعليقات