ورقة تقنية متخصصة

بناء ذكاء اصطناعي عربي أفضل

تحتاج أنظمة الذكاء الاصطناعي إلى بيانات عربية يتم اختيارها على أساس المعرفة والشمولية والتخصص، لا على أساس اللغة أو الحجم فقط. فالقيمة الحقيقية تكمن في ما سيتعلمه النموذج من المحتوى، ومدى ملاءمته للاستخدام المستهدف.

اقتناء بيانات الذكاء الاصطناعي التنوع اللغوي المعرفة والشمولية حوكمة البيانات

الملخص التنفيذي

يكمن الخطر في التعامل مع بيانات متنوعة جداً على أنها بيانات موحدة تحت تسمية «العربية»، رغم ما بينها من اختلافات في اللهجات والسياقات والاستخدامات والمعرفة التي تحملها. وقد تؤثر هذه الاختلافات مباشرة في نتائج تدريب الذكاء الاصطناعي.

قد تخفي تسمية «العربية» وحدها اختلافات جوهرية تؤثر مباشرة في نتائج تدريب الذكاء الاصطناعي.

تختلف العربية من حيث الفصحى واللهجات واللكنات، كما تختلف طريقة استخدامها من دولة إلى أخرى ومن منطقة ومدينة إلى أخرى، وتتغير المفردات والمصطلحات بحسب المجال وطبيعة الاستخدام. لذلك لا يكفي أن تكون البيانات كبيرة الحجم أو مصنفة تحت تسمية «العربية»؛ الأهم أن تكون مختارة بما يعكس الاستخدام المستهدف بصورة طبيعية ودقيقة.

وتزداد أهمية ذلك في التطبيقات التي تعتمد على فهم اللغة وإنتاجها، مثل التعرف على الكلام، وأنظمة المحادثة بالذكاء الاصطناعي، وخدمة العملاء، والتطبيقات المتخصصة، وتقييم أداء النماذج. ففي هذه الحالات، قد يؤدي خلط اللهجات والسياقات المختلفة دون تصنيف دقيق إلى نتائج تبدو عربية، لكنها لا تعكس الطريقة الطبيعية التي يتحدث بها المستخدم أو يتعامل بها مع الموضوع.

العربية لا ينبغي أن تُعامل كتصنيف لغوي واحد عند إعداد بيانات الذكاء الاصطناعي؛ فهي تحتاج إلى منهج مختلف يراعي تنوع اللهجات والسياقات والمعرفة المتخصصة حتى تكون نتائج التدريب أكثر دقة وطبيعية.

اللغة الفصحى، اللهجات، العربية البيضاء، والتداخل مع لغات أخرى
الكلام اللهجة، اللكنة، سرعة الحديث، وظروف التسجيل
المجال القانون، الطب، البنوك، التعليم، والخدمات الحكومية
الاستخدام طبيعة الاستخدام المستهدف، المصطلحات، الإجراءات، وتوقعات المستخدم

العربية ليست لهجة واحدة، ولا ينبغي جمع كل لهجاتها تحت تصنيف واحد.

تُستخدم العربية الفصحى في الكتابة الرسمية والتعليم والأخبار، بينما تتنوع العربية المنطوقة بدرجة كبيرة بين الدول والمناطق والمدن. كما يدخل في الاستخدام اليومي كلمات ومصطلحات من لغات أخرى، مثل الإنجليزية والفرنسية، أو من لغات محلية مختلفة تماماً عن العربية مثل السواحيلية، إضافةً إلى مفردات القطاعات المختلفة والاختصارات الشائعة على المنصات.

التصنيف
ما الذي قد يخفيه
«العربية» فقط
قد يخلط بين الفصحى والعربية البيضاء ولهجات متعددة، رغم أن لكل منها مفرداتها ونبرتها وسياق استخدامها.
تصنيف اللهجات ضمن مجموعات رئيسية
قد يخفي اختلافات بين المدن والفئات الاجتماعية والمهن والبيئات الإعلامية، إضافةً إلى تأثير اللغات والثقافات المحيطة.
بيانات متخصصة بالاستخدام
تصبح البيانات أكثر فائدة عندما يتم اختيارها وإعدادها وفق طبيعة الجهة التي سيُستخدم فيها النموذج، مثل البنوك أو المستشفيات أو المؤسسات الحكومية، مع مراعاة المصطلحات والإجراءات الخاصة بكل قطاع.

وتظهر أهمية هذا الفصل أحياناً في أنظمة المحادثة الصوتية المتقدمة، ومنها ChatGPT، حيث قد يسمع المستخدم داخل الجملة الواحدة مفردات أو نبرات تنتمي إلى لهجات عربية مختلفة. قد تكون الجملة مفهومة، لكنها لا تبدو طبيعية لمتحدث عربي. وهذا مثال عملي على أن جمع اللهجات المختلفة تحت تسمية «العربية» وحدها لا يكفي؛ بل يجب تمييز اللهجة والسياق والاستخدام حتى يكون الناتج أكثر اتساقاً وطبيعية.

المعرفة أولاً، ثم الشمولية، ثم التخصص.

نموذج الذكاء الاصطناعي لا يتعلم اللغة فقط؛ بل يبني معرفة من المحتوى الذي يُقدَّم إليه: المفاهيم، والمنطق، والسياق، وطريقة تفسير المواقف، وأنماط السؤال والإجابة، وردود الفعل، والمصطلحات، والعلاقات بين الموضوعات. لذلك فإن اختيار المحتوى يحدد إلى حد كبير ما الذي سيعرفه النموذج وكيف سيفهمه.

المستوى
المقصود
المعرفة
أن نعرف أن هناك اختلافاً أو نظاماً أو مرجعية يجب أن ينتبه إليها النموذج.
الشمولية
أن تشمل البيانات جميع الجوانب والمرجعيات المهمة، وألا يقتصر المحتوى على جزء واحد من الصورة.
التخصص
أن يدخل المحتوى في التفاصيل الدقيقة للقوانين والمصطلحات والإجراءات الخاصة بكل جزء أو مجال.

التصنيفات على مستوى الدولة غالباً ما تكون عامة أكثر من اللازم للذكاء الاصطناعي العربي.

تختلف العربية بين الدول والمناطق والمدن، ولهذا لا يكفي التصنيف على مستوى الدولة دائماً. وللتوضيح، تُذكر السعودية هنا كمثال فقط؛ فقد تختلف احتياجات النموذج من دولة عربية إلى أخرى بحسب اللهجة والمصطلحات وطبيعة الاستخدام. وحتى داخل الدولة الواحدة قد تظهر اختلافات مهمة بين المدن والمناطق نتيجة التاريخ والحركة السكانية والبيئة الاقتصادية وتأثير اللغات والثقافات المحيطة.

جدة

تؤثر تجارة البحر الأحمر والحج والهجرة والتواصل بين المجتمعات المتنوعة في أنماط الكلام والإشارات اليومية.

الرياض

تؤثر إدارة العاصمة ولغة الأعمال والإعلام والمؤسسات الوطنية في الاستخدام الرسمي وغير الرسمي.

المنطقة الشرقية

تشكل التجارة المرتبطة بالخليج ومفردات قطاع الطاقة والقرب من البحرين والكويت والعراق السياق الإقليمي.

لا يكفي أن يعرف النموذج اللغة؛ يجب أن يعرف العالم الذي تُستخدم فيه.

تختلف القوانين والأنظمة والإجراءات والخدمات من دولة عربية إلى أخرى، وقد تختلف أحياناً داخل الدولة نفسها. لذلك لا يكفي أن نقول «نريد محتوى عربياً» عن موضوع معين. يجب تحديد المعرفة التي يحتاجها النموذج، ثم اختيار محتوى يحقق الشمولية مع الاحتفاظ بالعمق المتخصص. وغالباً ما يتركز اهتمام مطوّر الذكاء الاصطناعي على الجانب التقني، خصوصاً إذا كان يعمل من خارج المنطقة العربية، وقد لا تكون لديه المعرفة الإقليمية اللازمة لاكتشاف هذه التفاصيل الجوهرية.

مثال الاستخدام
ما الذي يجب أن تعكسه البيانات
البنوك
مصطلحات المنتجات والامتثال والتحويلات والإجراءات المالية وطريقة تعامل العملاء مع الخدمة.
المستشفيات
المصطلحات الطبية ولغة استقبال المرضى والإحالات والإجراءات والسياقات المحلية للرعاية.
الخدمات الحكومية
المصطلحات والإجراءات والمرجعيات التي تختلف بحسب الدولة وطبيعة الخدمة والجهة المختصة.

المحتوى العربي ليس فئة واحدة من المعرفة.

وصف المحتوى بأنه «عربي» لا يوضح بالضرورة ما المعرفة التي يحملها، ولا أي لهجة أو سياق أو دولة أو نظام أو قطاع يمثله. وقد يكون المحتوى عربياً بالكامل، لكنه لا يغطي الاختلافات التي يحتاج نموذج الذكاء الاصطناعي إلى فهمها. السؤال الصحيح ليس فقط: ما المحتوى العربي المتوفر؟ بل: ما الذي نريد أن يعرفه النموذج، وما المحتوى الذي يمنحه هذه المعرفة بالشمول والعمق المطلوبين؟

ما لا يكفي وحده
ما الذي يجب إضافته
«هذا محتوى عربي»
تحديد نوع العربية واللهجة والسياق والمعرفة التي يحملها المحتوى.
«لدينا عدد كبير من الساعات»
تقييم جودة المواد ومدى ملاءمتها للاستخدام المستهدف، لا الكمية وحدها.
«المحتوى يتناول الموضوع المطلوب»
التأكد من أنه يشمل الاختلافات المهمة ويحتفظ بالعمق المتخصص، مع كشف ما ينقصه.

نهج قائم على المعرفة والشمولية والتخصص في إعداد بيانات الذكاء الاصطناعي العربية.

دور Oryx Live لا يقتصر على العثور على محتوى يحمل تسمية «العربية». نحدد أولاً ما يحتاج النموذج إلى معرفته وفق الاستخدام المستهدف، ثم نقيّم المواد المتوفرة من حيث الجودة والشمولية والعمق المتخصص، ونكشف أوجه القصور التي قد لا تكون واضحة لفريق التطوير، ثم نوفر المحتوى الأنسب أو ننتج محتوى جديداً عند الحاجة.

  1. 01 تحديد الاستخدام المستهدف وما يحتاج النموذج إلى معرفته
  2. 02 تحديد فجوات المعرفة
  3. 03 اختيار وتوفير مصادر مرخّصة للاستخدام وذات حقوق واضحة
  4. 04 إعداد النصوص والبيانات الوصفية وفحوص الجودة والتسليم

الخلاصة

جودة ما يتعلمه النموذج أهم من الكمية وحدها.

سيحتاج الجيل القادم من أنظمة الذكاء الاصطناعي إلى بيانات أكثر دقة تمثل الوجه الحقيقي للغة العربية بكل تنوعها واستخداماتها وسياقاتها المختلفة، مع التركيز على جودة ما يُقدَّم للنموذج ومدى ملاءمته، لا على الكمية وحدها. كما سيحتاج، في بعض الحالات، إلى محتوى يُنتج خصيصاً لمحاكاة ودعم هدف محدد لا تغطيه المواد المتوفرة بالقدر الكافي. كلما تم اختيار المواد المتوفرة بعناية، بما يحقق الشمولية مع الاحتفاظ بالعمق المتخصص، كان النموذج أكثر قدرة على فهم السياق وتقديم نتائج أدق وأكثر ملاءمة للاستخدام المستهدف.

مواصفات تُبنى على المعرفة والهدف المطلوب توفير بيانات مبني على فهم السياق والاستخدام المستهدف مصادر مرخّصة للاستخدام وذات حقوق واضحة إعداد بيانات جاهزة للذكاء الاصطناعي