2012-12-04 11 views
5

संभावित रूप से मिनीम बैच प्रोसेसिंग के संबंध में एक एएनएन 101 प्रश्न। Google का जवाब प्रतीत नहीं होता था। यहां एक खोज ने कुछ भी नहीं दिया। मेरा अनुमान है कि कहीं एक किताब है जो कहती है, "इसे इस तरह करो!" और मैंने अभी उस पुस्तक को नहीं पढ़ा है।तंत्रिका नेट - प्रत्येक मिनी बैच के लिए डेटा का चयन

मैं पायथन में एक तंत्रिका जाल कोडिंग कर रहा हूं (भाषा की बात नहीं है)। मैं पूर्ण बैच के बजाय मिनी-बैच अपडेट जोड़ने का प्रयास कर रहा हूं। प्रत्येक युग के लिए एक बार प्रत्येक अवलोकन का चयन करना आवश्यक है? मिनी-बैच डेटा मान 1:10, 11:20, 21:30 इत्यादि होंगे ताकि सभी अवलोकनों का उपयोग किया जा सके, और वे सभी एक बार उपयोग किए जाते हैं।

या क्या संभावना के आधार पर प्रशिक्षण डेटा सेट से यादृच्छिक रूप से मिनी बैच का चयन करना सही है? नतीजा यह है कि प्रत्येक अवलोकन किसी भी युग में, कई बार, या बिल्कुल नहीं किया जा सकता है। प्रति युग के 20 मिनी-बैचों के लिए, प्रत्येक डेटा तत्व को दिए गए मिनी-बैच के लिए 5% मौका दिया जाएगा। मिनी बैचों को यादृच्छिक रूप से चुना जाएगा और आकार में यादृच्छिक होगा लेकिन प्रत्येक 20 डेटा पॉइंट्स में से लगभग 1 में से प्रत्येक मिनी मिनी बैचों में चयन की कोई गारंटी नहीं होगी।

उत्तर

2

आपका पहला अनुमान सही है। बस अपने डेटासेट को पहले यादृच्छिक बनाएं। फिर (20) मिनी मिनी बैच के लिए कहें। उपयोग करें: 1-20, फिर 21-40, आदि ... तो, आपके सभी डेटासेट का उपयोग किया जाएगा।

बेन यह नहीं कहता कि डेटा सेट केवल एक बार उपयोग किया जाता है। आपको सामान्य रूप से सीखने के लिए अपने नेटवर्क के लिए सभी डेटासेट पर एकाधिक युग करने की आवश्यकता होती है।

मिनी-बैच मुख्य रूप से सीखने की प्रक्रिया को तेज करने के लिए उपयोग किया जाता है।

7

मिनी बैच प्रशिक्षण के बारे में कुछ युक्तियां: अन्यथा नेटवर्क बस याद हो सकता है:

हर युग

कारण है कि आप ऑनलाइन प्रशिक्षण में नमूने शफ़ल रूप में ही है से पहले अपने नमूने शफ़ल आदेश जिसमें आप नमूने खिलाते हैं।

हर बैच के लिए और हर युग

के लिए एक निश्चित बैच आकार का उपयोग करें शायद यह भी एक सांख्यिकीय कारण है, लेकिन यह कार्यान्वयन को सरल रूप में यह अपनी गणना के लिए मैट्रिक्स गुणा के तेजी से कार्यान्वयन का उपयोग करने के लिए सक्षम बनाता है। (जैसे BLAS)

बैच आकार

बड़ा बैचों आप एक छोटे से सीखने की दर का उपयोग करना होगा के लिए करने के लिए अपने सीखने दर अनुकूलन, अन्यथा एएनएन एक उप इष्टतम न्यूनतम प्रति कवरेज़ जाता है। मैंने हमेशा अपनी सीखने की दर 1/वर्ग (एन) से घटा दी, जहां एन बैच आकार है। कृपया ध्यान दें कि यह प्रयोगों से सिर्फ एक अनुभवजन्य मूल्य है।

+0

प्रत्येक युग से पहले नमूना को घुमाने पर अच्छी युक्ति। – user791770

संबंधित मुद्दे