نشرت بتاريخ 4 ديسمبر 2022
بمقدور النماذج اللغوية الكبيرة صياغة ملخصات الأبحاث، أو اقتراح اتجاهات بحثية معينة، غير أن هذه الأدوات القائمة على الذكاء الاصطناعي ما زالت قيد التنفيذ.
هل فكرت يومًا في وظيفة الإكمال التلقائي للنصوص، التي تسهل عليك استخدام هاتفك الذكي، غير أنها تكون مزعجة في بعض الأحيان؟ إليك آخر المستجدات في هذا الصدد: لقد تطورت الأدوات القائمة على هذه الفكرة في الوقت الحاضر إلى درجة أنها الآن تقدم يد العون للباحثين في تحليل الأوراق البحثية العلمية وكتابتها، وكذلك في إنتاج الأكواد البرمجية وطرح الأفكار.
تأتي تلك الأدوات من معالجة اللغات الطبيعية (NLP)، وهو أحد مجالات الذكاء الاصطناعي التي تهدف إلى مساعدة أجهزة الكمبيوتر على "فهم" – بل وإنتاج – نصوص يمكن للإنسان قراءتها. تسمى هذه الأدوات "النماذج اللغوية الكبيرة" (LLMs)، وقد تطورت بدرجة لا تجعلها مجرد موضوعات للدراسة فحسب، وإنما أيضًا بمثابة أدوات مساعِدة في إجراء البحوث.
النماذج اللغوية الكبيرة هي شبكات عصبية دُرِّبت باستخدام مجموعات نصية ضخمة على معالجة النصوص اللغوية، وتحديدًا: توليد تلك النصوص. أنشأ مختبر «أوبن إيه آي» OpenAI، وهو مختبر بحثي في سان فرانسيسكو بولاية كاليفورنيا، أشهر النماذج اللغوية الكبيرة، ويحمل اسم «جي بي تي-3» GPT-3، في عام 2020، من خلال تدريب إحدى الشبكات على التنبؤ بالجزء التالي من النص بناءً على ما ورد في الأجزاء السابقة عليه. عبّر الباحثون على شبكة التواصل الاجتماعي «تويتر»، ومنصَّات أخرى، عن دهشتهم من جودة الكتابات التي أنتجتها تلك التقنية، ودرجة الشبه المخيفة بينها وبين كتابات البشر. والأكثر من ذلك أنه بإمكان أي شخص في الوقت الحالي استخدام تلك التقنية، من خلال واجهة البرمجة الخاصة بمختبر «أوبن إيه آي» لاستحداث نص بناءً على إشارة أو فكرة. (تبدأ الأسعار من حوالي 0.0004 دولار أمريكي لكل 750 كلمة تجري معالجتها، وهو عمل يجمع ما بين تفسير الإشارة وكتابة الرد).
يقول عالم الكمبيوتر هافستاين إينارسون من جامعة أيسلندا في ريكيافيك: "أعتقد أنني أستخدم «جي بي تي-3» يوميًّا تقريبًا". يستخدم إينارسون ذلك النموذج للحصول على تعليقات تخصُّ ملخصات أوراقه البحثية. في مثال شارك به إينارسون في مؤتمر عُقد في يونيو، كانت بعض الاقتراحات التي طرحتها الخوارزمية عديمة الفائدة، حيث نصحته بإضافة معلومات مذكورة بالفعل داخل النص. لكن بعض الاقتراحات الأخرى كانت أكثر فائدة، مثل: "عليك أن تجعل سؤالك البحثي أكثر وضوحًا في بداية الملخص". يقول إينارسون إنه قد يكون من الصعب عليك أن تلمس العيوب الموجودة في مخطوطة بحثية كتبتها بيدك، ويضيف: "إما أن تعكف عليها طيلة أسبوعين، أو يمكنك أن تجعل شخصًا آخر يراجعها لك؛ وهذا الآخر يمكن أن يكون «جي بي تي-3»".
تفكير منظم
يستخدم بعض الباحثين النماذج اللغوية الكبيرة لإنشاء عناوين لأوراقهم البحثية أو لجعل النصوص أيسر في القراءة. تُقدِّم مينا لي، وهي طالبة دكتوراه في تخصص علوم الحاسب الآلي بجامعة ستانفورد في ولاية كاليفورنيا، إشاراتٍ أو أفكارًا للنموذج «جي بي تي-3»، من بينها على سبيل المثال: "باستخدام هذه الكلمات المفتاحية، جِد عنوانًا للورقة البحثية". كذلك تستخدم مينا لي أداةً مساعدة للكتابة، تعمل بتقنية الذكاء الاصطناعي، تُسمَّى «وورد تيون» Wordtune، ابتكرته مختبرات «إيه آي 21 لابز» AI21 Labs في تل أبيب بإسرائيل لإعادة صياغة الأقسام الصعبة في أوراقها البحثية. تقول: "أبدأ في كتابة فقرة، ثم ببساطة يتحول الأمر إلى عملية تفريغ للدماغ. ما عليّ سوى أن أنقر على «مفتاح إعادة الصياغة» حتى أجد نسخة أفضل تروق لي".
يستخدم الباحث المتخصص في علوم الحاسب دومينيك روساتي، الذي يعمل بشركة تكنولوجية ناشئة تسمى «سايت» Scite، يقع مقرها في بروكلين بنيويورك، نموذجًا لغويًا كبيرًا يُدعى «جينيريت» Generate لتنظيم أفكاره. طورت النموذج شركة «كوهير» Cohere، وهي شركة متخصصة في معالجة اللغات الطبيعية يقع مقرها في مدينة تورنتو بكندا، وهو يشبه كثيرًا النموذج «جي بي تي-3». يقول روساتي: "أضع في النموذج بعض الملاحظات، أو مجرد كتابات عشوائية وأفكار، وأقول له: أريد ملخصا لهذه النصوص، أو: ضع ملخصًا لها. يؤدي لي هذا النموذج خدمة حقيقية كأداة تجميعية".
كذلك يمكن للنماذج اللغوية أن تقدم المساعدة حتى في عملية تصميم التجارب. على سبيل المثال، كان إينارسون يستخدم في أحد مشروعاته، لعبة تُسمَّى «بيكشنري» Pictionary كوسيلة لجمع بيانات عن اللغة من المشاركين. عندما وُضِع وصف لهذه اللعبة في النموذج «جي بي تي-3»، أشار النموذج إلى بعض التغييرات المتنوعة التي يمكن تجربتها في اللعبة. من الناحية النظرية، يمكن للباحثين أيضًا طلب آراء جديدة ومحدثة بشأن البروتوكولات التجريبية. أما مينا لي، فقد طلبت من «جي بي تي-3» طرح أفكار يمكن القيام بها عند تقديم صديقها لوالديها. أشارت عليها التقنية باصطحابهم إلى مطعم على الشاطئ.
إنتاج أكواد برمجية بالذكاء الاصطناعي
قام الباحثون بمختبر «أوبن إيه آي» بتدريب النموذج «جي بي تي-3» على مجموعة متنوعة كبيرة من النصوص، من بينها الكتب والمقالات الإخبارية والمشاركات الخاصة بموسوعة «ويكيبيديا» والأكواد البرمجية. لاحظ أفراد الفريق في وقت لاحق أن النموذج «جي بي تي-3» يمكنه إكمال أجزاء من الأكواد البرمجية، وهو أمر يشبه ما يفعله مع نصوص أخرى. ابتكر الباحثون نسخة دقيقة من الخوارزمية تسمى «كوديكس» Codex، ودربوها على عدد من النصوص تبلغ مساحتها أكثر من 150 جيجابايت، مأخوذة من منصة مشاركة الأكواد «جِت هَب»1 GitHub. دمجت منصة «جِت هَب» حاليًا الخوارزمية «كوديكس» في خدمة تسمى «كو بايلوت» Copilot بإمكانها اقتراح أكواد برمجية بينما يقوم الشخص بالكتابة.
يقول عالم الكمبيوتر لوكا سولدييني الذي يعمل بمعهد آلِن للذكاء الاصطناعي (المعروف أيضًا باسم «إيه آي 2» AI2) في سياتل بواشنطن، إن نصف عدد الأشخاص في مكتبه على الأقل يستخدمون «كو بايلوت». يقول سولدييني إن الأداة تعمل بشكل أفضل في حالة البرمجة المتكررة، واستشهد الباحث في هذا السياق بمشروع يتضمن صياغة كود متداول لمعالجة النصوص المكتوبة بصيغة «بي دي إف» PDF. يقول سولدييني: "تنتج الأداة شيئًا ما، ولسان حالها يقول: أتمنى أن يكون هذا ما تريده". أحيانًا لا يكون ذلك ما تريده أنت تحديدًا؛ ولذلك، يقول سولدييني إنهم حريصون على استخدام «كو بايلوت» فقط مع اللغات والمكتبات المألوفة لديهم، حتى يتمكنوا من رصد المشكلات.
البحث في الدراسات السابقة
ربما يتضمن التطبيق الأكثر رسوخًا للنماذج اللغوية البحث في الأعمال الأدبية وتلخيصها. يوفر محرك البحث المعروف باسم «سيمانتيك سكولار» Semantic Scholar التابع لمعهد «إيه آي 2» - والذي يتضمن ما يقرب من مائتي مليون ورقة بحثية، معظمها في مجالات الطب الحيوي وعلوم الكمبيوتر - أوصافًا بطول التغريدة للأوراق البحثية باستخدام نموذج لغوي يسمى «تي إل دي آر» TLDR (وهو مختصر لعبارة: "طويل جدًّا، لم أقرأه" Too long; didn't read). اشتُقت الأداة «تي إل دي آر» من نموذج سابق يسمى «بارت» BART، وذلك على يد باحثين بمنصة التواصل الاجتماعي «فيسبوك»، حيث جرى تدريب النموذج على ملخصات من تأليف البشر. (وفقًا للمعايير الحالية، لا يعد «تي إل دي آر» نموذجًا لغويًا كبيرًا؛ لأنه لا يحتوي سوى على ما يقرب من 400 مليون مُعامل. يحتوي أكبر إصدار من «جي بي تي 3» على 175 مليار معامل).
تظهر الأداة «تي إل دي آر» أيضًا في تطبيق «سيمانتيك ريدر» Semantic Reader التابع لمعهد «إيه آي 2»، وهو تطبيق يعمل على زيادة الأوراق البحثية العلمية. عندما ينقر المستخدم على اقتباس في داخل النص في تطبيق «سيمانتيك ريدر»، يظهر مربع يحتوي على معلومات تتضمن ملخصًا بواسطة «تي إل دي آر». يقول دان ويلد، كبير العلماء بمحرك البحث «سيمانتيك سكولار»: "تتلخص الفكرة في قيامنا بتوظيف أداة الذكاء الاصطناعي ووضعها بشكل مباشر لتصبح جزءًا من تجربة القراءة".
عندما تنشئ النماذج اللغوية ملخصات للنصوص، فغالبًا – على حد قول ويلد – "ما تطرأ مشكلة فيما يخص ظاهرة يسميها الناس من قبيل حسن الظن بالهذيان أو الهلوسة، غير أنها في الحقيقة ليست سوى نموذج لغوي يختلق أشياءً أو يمارس الكذب". يبلي النموذج «تي إل دي آر» بلاءً حسنًا نسبيًا في اختبارات المصداقية2، حيث قيَّم مؤلفو الأوراق البحثية التي كُلِّف «تي إل دي آر» بوصفها دقة النموذج بمعدل 2.5 من 3 درجات. يقول ويلد إن ذلك يعود من ناحية إلى أن طول الملخص لا يزيد على عشرين كلمة فقط، ومن ناحية أخرى إلى أن الخوارزمية ترفض الملخصات التي تقدم كلمات غير مألوفة لا تظهر في النص الكامل.
أما فيما يخص أدوات البحث، فقد ظهر برنامج «إيليسِت» Elicit لأول مرة في عام 2021 عن طريق منظمة «أوت» Ought غير الربحية للتعلم الآلي في مدينة سان فرانسيسكو بولاية كاليفورنيا الأمريكية. إذا طرحتَ سؤالاً على «إيليسِت»، مثل: "ما تأثيرات اليقظة الذهنية على اتخاذ القرار؟"، يأتيك البرنامج بجدول يضم عشر أوراق بحثية. يمكن للمستخدمين أن يطلبوا من البرمجية تعبئة أعمدة الجدول بمحتويات مثل الملخصات والبيانات الوصفية، بالإضافة إلى معلومات حول المشاركين في الدراسة والمنهجية المستخدمة والنتائج. يستخدم برنامج «إيليسِت» أدوات من بينها «جي بي تي-3» لغرض استخراج أو إنشاء تلك المعلومات من الأوراق البحثية.
يستخدم جويل تشان، الباحث بجامعة ميريلاند في كوليدج بارك، والذي يدرس عمليات التفاعل بين الإنسان والكمبيوتر، برنامج «إيليسِت» كلما بدأ مشروعًا. يقول: "يقدم لي البرنامج عونًا كبيرًا بحق عندما لا أكون على دراية باللغة المناسبة التي ينبغي استخدامها لعملية البحث". يستخدم عالم الأعصاب جوستاف نيلسون من معهد كارولينسكا في ستوكهولم، «إيليسِت» للعثور على أوراق بحثية تحتوي على بيانات يمكنه إضافتها إلى التحليلات المجمعة. وقد أشارت الأداة إلى أوراق بحثية لم يكن نيلسون قد عثر عليها في عمليات بحث أخرى، بحسب قوله.
نماذج متطورة
تتيح النماذج الأولية في معهد «إيه آي 2» فكرة عن المستقبل فيما يخص النماذج اللغوية الكبيرة. في بعض الأحيان تنشأ لدى الباحثين أسئلة بعد قراءة ملخص لورقة علمية، ولكن لا يتاح لديهم الوقت الكافي لقراءة الورقة البحثية بالكامل. طور فريق من الباحثين بمعهد «إيه آي 2» أداة يمكنها الإجابة عن مثل هذه الأسئلة، على الأقل في مجال معالجة اللغات الطبيعية. بدأت العملية بتكليف الباحثين بقراءة ملخصات لأوراق بحثية في مجال معالجة اللغات الطبيعية ثم طُلب منهم طرح أسئلة عن تلك الأوراق (منها على سبيل المثال: "ما السمات الخمس للحوار التي خضعت للتحليل؟"). في أعقاب ذلك، يُكلِّف الفريق باحثين آخرين بالإجابة عن تلك الأسئلة بعد قراءة الأوراق البحثية بالكامل3. نجح معهد «إيه آي 2» في تدريب نسخة من نموذجه اللغوي المعروف باسم «لونج فورمر» Longformer – الذي يمكنه استيعاب ورقة بحثية كاملة، وليس فقط بضع مئات من الكلمات كما تفعل النماذج الأخرى – على مجموعة البيانات الناتجة لإنتاج إجابات عن أسئلة مختلفة بشأن أوراق بحثية أخرى4.
يمكن لنموذج يدعى «أكورد» ACCoRD استحداث تعريفات وقياسات لعدد 150 مفهومًا علميًا متعلقًا بمعالجة اللغات الطبيعية، بينما استخدمت «إم أس 2» MS^2، وهي مجموعة بيانات تضم 470 ألف وثيقة طبية و20 ألف ملخص متعدد المستندات، لغرض تدريب النموذج «بارت»؛ بحيث يسمح للباحثين بأخذ سؤال ومجموعة من الوثائق وإنشاء ملخص تحليلي وصفي موجز.
كذلك فهناك تطبيقات تتجاوز نطاق إنشاء النص. في عام 2019، قام معهد «إيه آي 2» بتدريب نموذج يُدعى «بيرت» BERT، وهو نموذج لغوي أنشأته شركة «جوجل» في 2018، على الأوراق البحثية الموجودة على محرك البحث «سيمانتيك سكولار» لإنشاء نموذج باسم «ساي بيرت» SciBERT، يحتوي على 110 ملايين مُعامل. فضلًا عن ذلك، نجحت شركة «سايت»، التي استخدمت تقنية الذكاء الاصطناعي لإنشاء محرك بحث علمي، في تدريب النموذج «ساي بيرت» بحيث يصنف الأوراق البحثية على أنها مؤيدة أو مناقضة أو بخلاف ذلك الإشارة إلى تلك الأوراق بأية طريقة أخرى؛ وذلك عندما يسرد محرك البحث الخاص بالشركة الأوراق البحثية التي تستشهد بورقة بحثية بعينها. يقول روساتي إن ذلك الفارق الدقيق يساعد الناس على تحديد أوجه القصور أو الثغرات في الأدبيات البحثية.
يعمل النموذج «سبيكتر» SPECTER التابع لمعهد «إيه آي 2»، والذي يعتمد أيضًا على النموذج «ساي بيرت»، على خفض عدد الأوراق البحثية في صورة تمثيلات رياضية مدمجة. يستخدم منظمو المؤتمرات النموذج «سبيكتر» لتوفيق الأوراق البحثية المقدمة مع المراجعين الأقران، حسبما يقول ويلد؛ كما يستخدمه محرك البحث «سيمانتيك سكولار» لإصدار توصيات بأوراق بحثية اعتمادًا على المحتويات الموجودة في مكتبة المستخدم.
يقول عالم الكمبيوتر توم هوب، الذي يعمل بالجامعة العبرية في القدس وكذلك بمعهد «إيه آي 2»، إن المشاريع البحثية الأخرى لدى المعهد نجحت في تدريب نماذج لغوية لتحديد تركيبات الأدوية الفعالة، وأوجه الصلة بين الجينات والأمراض، والتحديات والاتجاهات العلمية في الأبحاث الخاصة بجائحة «كوفيد-19».
ولكن هل يمكن للنماذج اللغوية أن تتيح رؤية أعمق أو حتى قدرًا من الاكتشاف؟ في مايو الماضي، شارك هوب وويلد في تأليف مراجعة5 مع إريك هورفيتز، كبير المسؤولين العلميين في شركة مايكروسوفت، وباحثين آخرين سردوا فيها التحديات التي تعترض تحقيق ذلك الهدف، بما في ذلك نماذج تدريسية تهدف إلى "[استنباط] النتيجة المترتبة على عملية إعادة دمج اثنين من المفاهيم"، على حد قول هوب، مشيرًا إلى نموذج «دال-إي 2» DALL.E 2 لإنشاء الصور الذي ابتكره مختبر «أوبن إيه آي». ويضيف هوب: "الأمر يختلف عن إنشاء صورة لقِطَّة تطير في الفضاء"، لذا يبقى السؤال: "كيف سننتقل من ذلك المستوى إلى الجمع بين مفاهيم علمية مجردة شديدة التعقيد؟"
يظل هذا تساؤلًا مفتوحًا في انتظار إجابة؛ إلا أن النماذج اللغوية الكبرى لها حاليًا تأثير ملموس بالفعل على عمليات البحث. يقول إينارسون: "في وقتٍ ما، سيجد الناس أنهم يضيعون الفرصة بعدم استخدامهم لهذه النماذج اللغوية الكبيرة".
ماثيو هاتسون: كاتب علمي مستقل يقيم في مدينة نيويورك.
doi:10.1038/nmiddleeast.2023.225
1. Chen, M. et al. Preprint at https://arxiv.org/abs/2107.03374 (2021).
2. Cachola, I., Lo, K., Cohan, A. & Weld, D. S. In Findings of the Association for Computational Linguistics 4766–4777 (2020).
3. Dasigi, P. et al. In Proc. 2021 Conference of the North American Chapter of the Association of Computational Linguistics 4599–4610 (2021).
4. Beltagy, I., Peters, M. E. & Cohan, A. Preprint at https://arxiv.org/abs/2004.05150 (2020).
5. Hope, T. et al. Preprint at https://arxiv.org/abs/2205.02007 (2022).
اشترك للحصول على النشرة الإلكترونية المحدّثة كل أسبوعين لكي تبقى على اطلاع بكافة المستجدات على الموقع.
التسجيل في خدمة النشرات الإلكترونية (بالإنجليزية)
تواصل معنا: