टेंसरफ्लो: sparse_softmax_cross_entropy_with_logits और softmax_cross_entropy_with_logits के बीच क्या अंतर है?

Question

मैं हाल ही में tf.nn.sparse_softmax_cross_entropy_with_logits में आए और मैं समझ नहीं क्या अंतर tf.nn.softmax_cross_entropy_with_logits की तुलना में है।

है फर्क सिर्फ इतना है कि प्रशिक्षण वैक्टर one-hot encoded होना जरूरी y जब sparse_softmax_cross_entropy_with_logits का उपयोग कर?

एपीआई पढ़ना मैं softmax_cross_entropy_with_logits की तुलना में कोई अन्य अंतर नहीं ढूंढ पाया ... लेकिन हमें अतिरिक्त कार्य की आवश्यकता क्यों है?

softmax_cross_entropy_with_logitssparse_softmax_cross_entropy_with_logits के समान परिणाम नहीं दे सकते हैं, अगर इसे एक गर्म एन्कोडेड प्रशिक्षण डेटा/वैक्टर के साथ आपूर्ति की जाती है?

Answer 1

दो अलग-अलग फ़ंक्शन होने के कारण सुविधा है, क्योंकि वे एक ही परिणाम उत्पन्न करते हैं।

अंतर सरल है:

• sparse_softmax_cross_entropy_with_logits के लिए, लेबल आकार [batch_size] और dtype int32 या int64 होना आवश्यक है। प्रत्येक लेबल [0, num_classes-1] श्रेणी में एक int है।
• softmax_cross_entropy_with_logits के लिए, लेबल आकार [batch_size, num_classes] है और float32 या float64 dtype चाहिए।

लेबल softmax_cross_entropy_with_logits में इस्तेमाल sparse_softmax_cross_entropy_with_logits में इस्तेमाल किया लेबल की एक हॉट संस्करण हैं।

एक और छोटा अंतर यह है कि sparse_softmax_cross_entropy_with_logits के साथ, आप इस लेबल पर 0 हानि रखने के लिए लेबल के रूप में 1 दे सकते हैं।

Answer 2

मैं सिर्फ स्वीकार किए जाते हैं जवाब यह है कि आप भी TF दस्तावेज में पा सकते हैं करने के लिए 2 बातें जोड़ना चाहते हैं।

पहले:

tf.nn.softmax_cross_entropy_with_logits

नोट: एक ओर जहां कक्षाओं परस्पर अनन्य हैं, उनके संभावनाओं होने की जरूरत नहीं। यह आवश्यक है कि लेबल की प्रत्येक पंक्ति वैध संभाव्यता वितरण है। यदि वे नहीं हैं, तो की गणना ग्रिडेंट गलत होगी।

दूसरा:

tf.nn.sparse_softmax_cross_entropy_with_logits

नोट: इस आपरेशन के लिए, किसी दिए गए लेबल की संभावना अनन्य माना जाता है। यही है, मुलायम वर्गों की अनुमति नहीं है, और लेबल वेक्टर को प्रत्येक वर्ग की लॉग (प्रत्येक मिनीबैच प्रविष्टि) के लिए वास्तविक वर्ग के लिए एक विशिष्ट सूचकांक प्रदान करना होगा।

Answer 3

दोनों कार्यों एक ही परिणाम की गणना करता है और sparse_softmax_cross_entropy_with_logits बजाय विरल लेबल पर सीधे पार एन्ट्रापी गणना करता है उन्हें one-hot encoding साथ परिवर्तित करने की।

आप नीचे दिए गए कार्यक्रम चलाकर पुष्टि कर सकते हैं:

import tensorflow as tf 
from random import randint 

dims = 8 
pos = randint(0, dims - 1) 

logits = tf.random_uniform([dims], maxval=3, dtype=tf.float32) 
labels = tf.one_hot(pos, dims) 

res1 = tf.nn.softmax_cross_entropy_with_logits(  logits=logits, labels=labels) 
res2 = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits, labels=tf.constant(pos)) 

with tf.Session() as sess: 
    a, b = sess.run([res1, res2]) 
    print a, b 
    print a == b 

यहाँ मैं लंबाई dims के एक यादृच्छिक logits वेक्टर बना सकते हैं और एक गर्म इनकोडिंग लेबल उत्पन्न (जहां pos में तत्व 1 है और दूसरों को 0 कर रहे हैं) ।

इसके बाद मैं सॉफ्टमैक्स और स्पैस सॉफ्टमैक्स की गणना करता हूं और उनके आउटपुट की तुलना करता हूं। यह सुनिश्चित करने के लिए कुछ बार पुन: प्रयास करें कि यह हमेशा एक ही आउटपुट