फ़ीड डेटा

Question

बारे tf.contrib.data.Dataset (TensorFlow 1.2 से, देख here और here) उपयोग आम तौर पर डेटा। मेरे मामले में, मेरे पास एक धागा है और मुझे वहां डेटा प्राप्त होता है और जब मैं समाप्त होता हूं तो मुझे पहले से पता नहीं होता है लेकिन मुझे लगता है कि यह कब समाप्त होता है। तब तक मैं इंतजार करता हूं जब तक कि मैंने सभी बफर को संसाधित नहीं किया और फिर मैंने एक युग समाप्त कर दिया। मैं इस तर्क को Dataset के साथ कैसे प्राप्त कर सकता हूं?

ध्यान दें कि इंटरफ़ेस पर Dataset इंटरफ़ेस को पसंद करता है क्योंकि यह मुझे इटेटर इंटरफ़ेस देता है जिसे मैं पुन: प्रारंभ कर सकता हूं और यहां तक ​​कि Dataset पर रीसेट कर सकता हूं। यह कतारों की तुलना में अधिक शक्तिशाली है जिसे बंद होने के बाद वर्तमान में फिर से खोला नहीं जा सकता है (here और here देखें)।

शायद एक समान प्रश्न, या एक ही प्रश्न: मैं कतार में Dataset के आसपास कैसे लपेट सकता हूं? मेरे पास कुछ धागा है जो कहीं से कुछ डेटा पढ़ता है और जो इसे खिला सकता है और किसी भी तरह से कतार कर सकता है। मैं डेटा को Dataset में कैसे प्राप्त करूं? मैं कुछ डमी टेंसर अनंत समय दोहरा सकता हूं और फिर का उपयोग केवल queue.dequeue() लौटने के लिए कर सकता हूं लेकिन वास्तव में मुझे केवल क्यूई के साथ सभी मूल समस्याओं पर वापस ले जाता है, यानी कतार को फिर से खोलने के लिए कैसे।

Answer 1

नया Dataset.from_generator() विधि आपको एक पायथन जनरेटर द्वारा खिलाया गया Dataset परिभाषित करने की अनुमति देता है। (वर्तमान में इस सुविधा का उपयोग करने के लिए, आपको टेंसरफ्लो का रात्रि निर्माण डाउनलोड करना होगा या इसे स्रोत से स्वयं बनाना होगा। यह टेंसरफ्लो 1.4 का हिस्सा होगा।)

आपके उदाहरण को लागू करने का सबसे आसान तरीका आपके प्राप्त थ्रेड को प्रतिस्थापित करना होगा एक जनरेटर के साथ, स्यूडोकोड साथ इस प्रकार है:

def receiver(): 
    while True: 
    next_element = ... # Receive next element from external source. 
         # Note that this method may block. 

    end_of_epoch = ... # Decide whether or not to stop based on next_element. 

    if not end_of_epoch: 
     yield next_element # Note: you may need to convert this to an array. 
    else: 
     return # Returning will signal OutOfRangeError on downstream iterators. 

dataset = tf.contrib.data.Dataset.from_generator(receiver, output_types=...) 

# You can chain other `Dataset` methods after the generator. For example: 
dataset = dataset.prefetch(...) # This will start a background thread 
           # to prefetch elements from `receiver()`. 

dataset = dataset.repeat(...) # Note that each repetition will call 
           # `receiver()` again, and start from 
           # a fresh state. 

dataset = dataset.batch(...) 

अधिक जटिल टोपोलोजी संभव हो रहे हैं। उदाहरण के लिए, आप समांतर में कई रिसीवर बनाने के लिए Dataset.interleave() का उपयोग कर सकते हैं।