تقنية روسية جديدة لتحليل المشاعر باستخدام الذكاء الاصطناعي المتعدد الوسائط

نهج متعدد الوسائط لتحليل المشاعر

طور فريق بحثي روسي شبكة عصبية جديدة قادرة على معالجة عدة أنواع من الإشارات في آن واحد، بهدف التعرف على الحالات العاطفية وتقييم سمات الشخصية المدركة ورصد التردد أو التناقض في ردود الأفعال. يشارك في هذا العمل باحثون من المدرسة العليا للاقتصاد في موسكو، بالتعاون مع متخصصين من مركز سانت بطرسبرغ الفيدرالي للأبحاث التابع للأكاديمية الروسية للعلوم، ومركز «Sber» للذكاء الاصطناعي التطبيقي.

الدمج بين الفيديو والصوت والنص والحركة

يعتمد النظام على نهج متعدد الوسائط يجمع بيانات من الفيديو والصوت ومحتوى الكلام، بالإضافة إلى تعابير الوجه واتجاه النظرات ووضعية الجسم والإيماءات، سعيا لتشكيل صورة شاملة عن الحالة السلوكية والعاطفية للشخص. يختلف هذا الأسلوب عن الأنظمة التقليدية التي تركز على مؤشر واحد مثل نبرة الصوت أو حركة الوجه فقط؛ فعلى سبيل المثال، عندما يؤكد شخص أنه يشعر بالراحة بينما يتجنب التواصل البصري أو يتردد في الحديث، يمكن للشبكة تحليل هذه الإشارات مجتمعة بدلا من الاعتماد على الكلام وحده. ومع ذلك، لا تعني هذه القدرة أن الشبكة تقرأ الأفكار؛ فهي تستند إلى أنماط سلوكية ظاهرة وتقدم تقديرات استنادا إلى البيانات التي تدربت عليها.

التدريب والنتائج والتطبيقات المحتملة

صمم العلماء النموذج بمكونات مشتركة وأخرى متخصصة تسمح له بتعلم العلاقات بين الأنواع المختلفة من المعلومات والاستفادة من المعرفة المكتسبة عند مواجهة مهام وبيانات جديدة. نظرًا لعدم وجود قاعدة بيانات واحدة تجمع تصنيفات المشاعر وسمات الشخصية والتناقضات السلوكية للأشخاص، استخدم الباحثون مجموعات بيانات متعددة صُممت أصلا لمهام مختلفة. وفقًا للفريق، تختلف أهمية كل نوع من البيانات حسب المهمة؛ فقد يكون الفيديو أكثر فائدة لتقييم سمات الشخصية المدركة، بينما يصبح محتوى الكلام أكثر أهمية عند محاولة رصد التناقضات.

تلقى النموذج تدريبًا باستخدام حاسوب عملاق تابع للمدرسة العليا للاقتصاد، وأظهرت النتائج أن دمج المعلومات من مجموعات بيانات مختلفة عزز قدرة النظام على التعرف على المشاعر عند التعامل مع بيانات لم يسبق له رؤيتها. ويرى الباحثون أن التقنية قد تجد تطبيقات مستقبلية في التعليم الرقمي والواجهات الذكية وخدمات دعم المستخدم، إذ يمكن للأنظمة تحليل مؤشرات الارتباك أو التردد والتكيف مع الحالة السلوكية للمستخدم.

التطوير الجاري والمرونة المستقبلية

يعمل الفريق حاليًا على تطوير نماذج أكثر مرونة يمكنها تحديد أهمية كل إشارة، سواء كانت الصوت أو الكلام أو تعبيرات الوجه أو الإيماءات، وفقا لطبيعة المهمة، بالإضافة إلى إنشاء صور رمزية رقمية قادرة على تكييف تفاعلها مع الحالة العاطفية للمستخدم.