منتديات تروجيمنج

عليكم السلام ورحمة الله وبركاته

مافي احد متخصص NLP ماسواها... تقدر تستخدم مكتبات جاهزة زي wordnet او تبني كربس خاص فيك مع انك لازم تحقنه. طبعا استخدمتها على اللغة الانجليزية.

Anaxiroshe’lir

قصدك الطريقة اليدوية؟ أنا قصدي كان طريقة تقسيم الcorpus لعدة corpora بناء على الclasses الموجودين

لكن المشكلة هنا حجم الcorpus، أنا بالكاد جمعت 1775 عينة لكلاس واحد فقط (جمعت 15000 عينة بالواقع لكن بعد الفحص اكتشفت فقط 1775 ينتمون لهذا الكلاس… ولسه راح أعطي البيانات لمختص نفسي حتى يقيمها)

Anaxiroshe’lir

شفت أبحاث تستخدم wordnet ومن ثم تستخدم translation api حتى تحولها للغة العربية…. لكن بالنهاية التدخل اليدوي لابد منه حتى تبني lexicon يعطيك نتائج جيدة

ورطت نفسي بالlexicon

nolongerempty

ايش اللي تحتاجه بالضبط... طالما عندك ليبلز فليش تكون يدوية؟ استخدم دالة groupby في pandas عشان تقسم الكوربرا اللي عندك. لاتقول انك انت اللي جمعت الداتا الييدوية؟

nolongerempty

شوف اذا استخدمت الطريقة اليدوية فبعطيك طريقة لكنها تعتبر سيئة لان العينة اللي عندك قليلة جدًا. استقطع 3 الاف جملة ثم روح freelancer الموقع وبعدها اتفق مع شخص على عمل ال labeling او الannotation او زي ماتسميها... بعدين استخدم نموذج مشين ليرننق بسيط عشان يصنف بقية الجمل او المقالات اللي عندك.

عطني تفاصيل كاملة عن المشروع حقك عشان احاول اصمم لك ميثودولوجي بسيط او ارسل العينة اشوفها ووضح لي ايش اللي تبغاه بالضبط .

nolongerempty

الترجمة غير فعالة جدًا...اذكر استخدمتها على كوربوس imdb حقت المراجعات وترجمت مايقارب 40 الف مراجعة بس بالنهاية صارت فعالة على مقالات الالعاب و الافلام...اذكر طبقتها على ردود ومقالات ترو جيمنج بعد ما استخدمت التعلم العميق عليها.

Anaxiroshe’lir

الريدي عرضت مقترح الرسالة فما أقدر أغير فيها كثير.. لكن خلني أعطيك فكرة مختصرة عنها

هي عن اكتشاف الاكتئاب في النصوص العربية باستخدام lexicon-based models & ML & DL

الcorpus جمعته من منتدى نفساني، طبعًا للحين ما اكتمل لكن بنهاية اكتمال هذه المرحلة يفترض يكون عندي 4000 عينة (2000 عينة لكل كلاس)

Anaxiroshe’lir

بالبداية عملت كود بسيط يسحب جميع المنشورات بالموضوع، وكنت أشيك على الموضوع، إذا مرتبط مباشرة بالاكتئاب.. أسحب جميع منشوراته.. وندمان صراحة لأنه هذا الشيء استهلكني وقت طويل بعدين لفحصها منشور منشور حتى أتأكد فيها أعراض الاكتئاب

طبعًا باقي خطوة المختص النفسي يفحصها ويتأكد منها كذلك باستخدام DSM-V

Anaxiroshe’lir

الفكرة الأساسية كانت بسحب عينة من الcorpus، وبناء lexicon وlexicon-based model، ولما أوصل لنتائج ممتازة، أطبق المودل على باقي الcorpus لعمل الannotation لكامل الdataset

يعني تقدر تقول semi-supervised بنفس الطريقة اللي أنت اقترحتها

لكن الcorpus قليل، وهذا الشيء يصعب هذه العملية ويخليها risk، فاقترح المشرف أنه كل الcorpus يكون manually-annotated وأنا معاه بهذا الشيء

Anaxiroshe’lir

تطبيق الML & DL بسيط أمره، سبق وطبقتهم على بيانات باللغة العربية وحصلت نتائج عالية (فوق 90% ل Acc, Pre, Rec & F1) طبعًا الأهم دائمًا خطوة الpre-processing قبل كل شيء

لكن المشكلة اللي أواجهها حاليًا هي بناء الlexicon كونها المرة الأولى لي.. ويبدو الطريقة الوحيدة الفعالة هي الطريقة اليدوية نظرًا لقلة البيانات

nolongerempty

هو اسوأ شي في ال NLP ان كل شي لازم يكون يدوي الا اذا توفر كوربوس محقون بالبيانات او نموذج مدرب على بيانات جاهزة...

nolongerempty

انت حلك الوحيد والأسرع هو التصنيف على مستوى الجمل وتقدر تفتح لكل جملة اكثر من تصنيف حسب المفردات... بعد ماتوصل 3 الاف بيكون عندك عدد جيد تدرب عليه بقية الجمل وتستخرج منها ال lexicons على اكثر من تصنيف...الطريقة تقريبا تشابه ال sentiment analysis لكن على كلاسيس اكثر ...أي بدل ماتشتغل على sigmoid للبايناري..تشتغل على اكتفيشن فنكشن يقبل مولتبل كلاسيس.

nolongerempty

مرة اخرى انا قاعد اعطيك اقتراح بدون تفاصيل واضحة....ودي اعرف كم عدد التصنايف اللي تحتاجها واطلع على عينة من البيانات اللي عندك

Anaxiroshe’lir

ما يحتاج تصعبها ياخي وتدخلنا في متاهة الmulti-classification، إجمالي الداتاسيت 4000 عينة، 2000 عينة لكل كلاس.. depressed and non-depressed

إذا أعراض الاكتئاب ظاهرة على المنشور فهو depressed، إذا لا فهو non-depressed

هذه عينتين عشوائية depressed

Anaxiroshe’lir

انا تدمرت كليا انا تعبت معكم انا تدمرت كليا اقسم بالله اني نفس المجنون اصبحت اجلس الصبح وانا كالمشلول حتا انتو يلي تسمون روحكم مكتئبين تدرسون وتشتغلون وعايشين حياتكم لاكن انا مو عايش حياتي افهمو كل يوم نفس الشي مافي اقبال على الحياه مافي حماس مافي افراح المخ اسلاك الفرح مفصوله فيه كله حزن ونكد وهم وسلبيه ترا تعببببببببببببت خلاص ماقدر اتحمل ولله افكر جديا اني اخلص حياتي

Anaxiroshe’lir

منهاره تماما .. اشعر بأني افقد قواي و عقلي في ايه لحظه السلام عليكم .. كيف حالكم اعضاء المنتدى الكرام ارجوكم ساعدوني ماذا افعل اشعر بأني تعبانه جدا جدا ومنهاره اشعر بأني سأسقط في ايه لحظه وافقد قواي .. ارجوكم ماذا افعل ما العمل ؟؟ الله يخليكم ساعدوني

Anaxiroshe’lir

هي مشكلتي فقط ببناء الlexicon, لأني شايف الطريقة الوحيدة لي حاليًا هي الطريقة اليدوية ::sad::

هذا البحث قريب جدًا من رسالتي

منتديات تروجيمنج

إحصائيات المنتدى

مشاركة هذه الصفحة