मी प्रमाणीकरण आणि चाचणी अचूकतेमधील फरक कसे वर्णन करू शकतो?


उत्तर 1:

अचूकपणासाठी, मला वाटतं की आपले मॉडेल चांगले कार्य करीत आहे. मी असे गृहीत धरतो की आपण A अ मॉडेलचे प्रशिक्षण देण्यासाठी वैधता डेटा आणि त्याचे मूल्यांकन करण्यासाठी डेटाची चाचणी घेतली. वैधता अचूकता आणि चाचणी अचूकता दोन्ही उच्च असल्याने असे म्हटले जाऊ शकते की मॉडेल योग्य प्रकारे प्रशिक्षण दिले आहे. तथापि, मला दोन चिंता आहेत.

  1. जर आपल्याला उच्च अचूकतेसह मॉडेल आवश्यक असेल तर आपल्याला चांगले होण्यासाठी हायपरपॅमीमीटर ट्यून करावे लागेल.परिक्षण शिकणे हे अचूकतेबद्दल नाही. हे दोन बायनरी वर्गीकरण असल्यास, चुकीचे पॉझिटिव्हचे वर्गीकरण करण्यात अडचण येत आहे का हे पाहण्यासाठी वक्र खाली आरओसी क्षेत्र मिळवावे. आपल्याकडे उच्च चुकीचे पॉझिटिव्ह असल्यास, मॉडेल निरुपयोगी आहे.

बी साठी मला वाटते की हे जास्तच चांगले आहे. ओव्हरफिटिंग म्हणजे आपले मॉडेल केवळ प्रशिक्षण आणि प्रमाणीकरण डेटावर चांगले कार्य करते, आणि चाचणी डेटा किंवा नवीन अज्ञात डेटासाठी नाही. आपणास नक्कीच अधिक सामान्यीकृत मॉडेल हवे आहे. ते का अतिशयोक्तीपूर्ण आहे हे शोधून काढा. आपल्याला वक्र अंतर्गत आरओसी क्षेत्राचे देखील मूल्यांकन करणे आवश्यक आहे.

http: //gim.unmc.edu/dxtests/roc3 ...

मशीन लर्निंग अल्गोरिदमसह मशीनमध्ये ओव्हरफिटिंग आणि अंडरफिटिंग - मशीन लर्निंग महारत