वसंत-डेटा

Question

दोस्तों के माध्यम से मोंगोडीबी में बड़े संग्रह पर इटरेट करें!

मैं वसंत-डेटा के माध्यम से जावा परियोजना में मोंगोडीबी का उपयोग कर रहा हूं। मैं संग्रह में डेटा तक पहुंचने के लिए रिपोजिटरी इंटरफेस का उपयोग करता हूं। कुछ प्रसंस्करण के लिए मुझे संग्रह के सभी तत्वों को फिर से शुरू करने की आवश्यकता है। मैं भंडार की fetchAll विधि का उपयोग कर सकते हैं, लेकिन यह हमेशा ArrayList वापस आते हैं।

हालांकि, यह माना जाता है कि संग्रह में से एक बड़ा होगा - कम से कम 10 लाख तक प्रत्येक किलोबाइट रिकॉर्ड। मुझे लगता है कि मुझे ऐसे मामलों में fetchAll का उपयोग नहीं करना चाहिए, लेकिन मुझे कुछ इटरेटर (जो संग्रह को आंशिक रूप से प्राप्त करने की अनुमति दे सकता है) को वापस करने के लिए सुविधाजनक तरीके नहीं मिल सका, और न ही कॉलबैक के साथ सुविधाजनक तरीके।

मैंने पृष्ठों में ऐसे संग्रह पुनर्प्राप्त करने के लिए केवल समर्थन देखा है। मुझे आश्चर्य है कि इस तरह के संग्रह के साथ काम करने का यही एकमात्र तरीका है?

Answer 1

देर से प्रतिक्रिया, लेकिन शायद भविष्य में किसी की मदद करेगा ..) वसंत डेटा मोंगो डीबी कर्सर क्षमताओं को लपेटने के लिए कोई एपीआई प्रदान नहीं करता है। यह find विधियों के भीतर इसका उपयोग करता है, लेकिन हमेशा वस्तुओं की पूरी सूची लौटाता है। दस्तावेज़ आधार प्रति परिणामों को संभालने के लिए

do{ 
    page = repository.findAll(new PageRequest(pageNumber, pageLimit)); 
    pageNumber++; 

}while (!page.isLastPage()); 

Answer 2

एक और तरीका है: विकल्प सीधे मोंगो एपीआई का उपयोग करने या स्प्रिंग डाटा पेजिंग एपीआई, कुछ ऐसा है जो की तरह उपयोग करने के लिए कर रहे हैं।

http://docs.spring.io/spring-data/mongodb/docs/current/api/org/springframework/data/mongodb/core/MongoTemplate.html#executeQuery-org.springframework.data.mongodb.core.query.Query-java.lang.String-org.springframework.data.mongodb.core.DocumentCallbackHandler-

Answer 3

चेक नई विधि:

 final int pageLimit = 300; 
     int pageNumber = 0; 
     Page<T> page = repository.findAll(new PageRequest(pageNumber, pageLimit)); 
     while (page.hasNextPage()) { 
      processPageContent(page.getContent()); 
      page = repository.findAll(new PageRequest(++pageNumber, pageLimit)); 
     } 
     // process last page 
     processPageContent(page.getContent()); 

Answer 4

उपयोग MongoTemplate :: धारा() शायद के रूप में सबसे उपयुक्त जावा आवरण DBCursor को

Answer 5

आप अभी भी संग्रह का उपयोग करने के mongoTemplate उपयोग कर सकते हैं और बस का उपयोग DBCursor:

 DBCollection collection = mongoTemplate.getCollection("boundary"); 
    DBCursor cursor = collection.find();   
    while(cursor.hasNext()){ 
     DBObject obj = cursor.next(); 
     Object object = obj.get("polygons"); 
     .. 
     ... 
    } 

Answer 6

आप इस तरह डीबीसीसरॉर तरीके से कोशिश कर सकते हैं:

DBObject query = new BasicDBObject(); //setup the query criteria 
    query.put("method", method); 
    query.put("ctime", (new BasicDBObject("$gte", bTime)).append("$lt", eTime)); 

    logger.debug("query: {}", query); 

    DBObject fields = new BasicDBObject(); //only get the needed fields. 
    fields.put("_id", 0); 
    fields.put("uId", 1); 
    fields.put("ctime", 1); 

    DBCursor dbCursor = mongoTemplate.getCollection("collectionName").find(query, fields); 

    while (dbCursor.hasNext()){ 
     DBObject object = dbCursor.next(); 
     logger.debug("object: {}", object); 
     //do something. 
    } 

Answer 7

स्ट्रीम कर्सर के रूप में:

@Query("{}") 
Stream<Alarm> findAllByCustomQueryAndStream(); 

तो के लिए डेटा की बड़ी राशि है जो आप उन्हें स्ट्रीम और स्मृति सीमा के बिना लाइन द्वारा लाइन संसाधित कर सकते हैं