सामग्री-आधारित अनुशंसाकर्ता प्रणाली का मूल्यांकन कैसे करें

Question

मैं एक सामग्री-आधारित फिल्म अनुशंसा प्रणाली बना रहा हूं। यह आसान है, बस उपयोगकर्ता को मूवी शीर्षक दर्ज करने दें और सिस्टम को ऐसी फिल्म मिलेगी जिसमें सबसे समान सुविधाएं हों।

समानता की गणना करने और स्कोरिंग क्रम में स्कोर को क्रमबद्ध करने के बाद, मुझे 5 उच्चतम समानता स्कोर की संबंधित फिल्में मिलती हैं और उपयोगकर्ताओं पर वापस आती हैं।

जब भी मैं सिस्टम की सटीकता का मूल्यांकन करना चाहता हूं तब तक सब कुछ ठीक से काम करता है। Google पर मिले कुछ सूत्रों ने रेटिंग मानों के आधार पर सटीकता का मूल्यांकन किया है (अनुमानित रेटिंग और वास्तविक रेटिंग जैसे आरएमएसई की तुलना)। मैंने समानता स्कोर को रेटिंग में नहीं बदला (1 से 5 तक स्केल) इसलिए मैं कोई फॉर्मूला लागू नहीं कर सका।

क्या आप समानता स्कोर को अनुमानित रेटिंग में परिवर्तित करने का कोई भी तरीका सुझा सकते हैं ताकि मैं आरएमएसई लागू कर सकूं? या इस समस्या के समाधान का कोई विचार है?

Answer 1

क्या आपके पास कोई जमीन सत्य है? उदाहरण के लिए, क्या आपके पास उन फिल्मों के बारे में जानकारी है जिन्हें उपयोगकर्ता ने अतीत में पसंद/देखा/खरीदा है? इसे रेटिंग नहीं होना चाहिए, लेकिन सिफारिश का मूल्यांकन करने के लिए आपको उपयोगकर्ता की प्राथमिकताओं के बारे में कुछ जानकारी जाननी होगी।

यदि आप करते हैं, तो आरएमएसई के अलावा सटीकता को मापने के अन्य तरीके भी हैं। जब हम रेटिंग की भविष्यवाणी करते हैं तो आरएमएसई का उपयोग किया जाता है (जैसा कि आपने कहा है कि असली रेटिंग और भविष्यवाणी के बीच त्रुटि है) लेकिन आपके मामले में आप शीर्ष एन सिफारिशें उत्पन्न कर रहे हैं। उस स्थिति में आप अपनी सिफारिशों का मूल्यांकन करने के लिए परिशुद्धता का उपयोग कर सकते हैं और याद कर सकते हैं। इन्हें सूचना पुनर्प्राप्ति अनुप्रयोगों में बहुत उपयोग किया जाता है (Wikipedia देखें) और वे अनुशंसाकर्ता प्रणालियों में भी बहुत आम हैं। आप एफ 1 मीट्रिक की गणना भी कर सकते हैं जो परिशुद्धता और याद करने का एक हार्मोनिक माध्यम है। आप देखेंगे कि वे बहुत ही सरल सूत्र हैं और कार्यान्वित करने में काफी आसान हैं।

गाय शनि द्वारा "अनुशंसा प्रणाली का मूल्यांकन" अनुशंसा प्रणाली का मूल्यांकन करने के तरीके पर एक बहुत अच्छा पेपर है और यह आपको इन सभी में एक अच्छी अंतर्दृष्टि प्रदान करेगा। आप पेपर here पा सकते हैं।