JDBC + बड़े PostgreSQL क्वेरी स्मृति

Question

मैं एक PostgreSQL क्वेरी जो एक बड़ी परिणाम देता है निष्पादित करने के लिए कोशिश कर रहा हूँ से बाहर दे:

connection.setAutoCommit(false); 
st = connection.createStatement(
    ResultSet.CONCUR_READ_ONLY, 
    ResultSet.TYPE_FORWARD_ONLY 
); 
st.setFetchSize(100); 
logMemory(); 
System.out.println("start query "); 
rs = st.executeQuery(queryString); 
System.out.println("done query "); 
logMemory(); 

लेकिन यह स्मृति का एक बहुत का उपयोग करता है:

Free memory; 4094347680 (= 3905 mb). 
start query 
done query 
Free memory; 2051038576 (= 1956 mb). 

(Runtime.getRuntime() के साथ मुद्रित। फ्रीमेमरी())

अब तक यह काम करता है लेकिन डेटाबेस बहुत बड़ा होगा। मुझे स्मृति में पूरे परिणाम की आवश्यकता नहीं है; मुझे बस प्रत्येक पंक्ति को खरीदने की आवश्यकता है, परिणाम डिस्क पर लिखें और अगली पंक्ति पर जाएं।

मुझे पता है कि 'setFetchSize' केवल एक संकेत है, लेकिन अगर मैं postgresql/jdbc इसे अनदेखा कर दूंगा, तो मुझे यह अजीब लगेगा, क्योंकि यह उम्र के आसपास है।

इस के आसपास पाने के लिए कोई भी तरीका है? मेरा एकमात्र विचार अब तक एक बैच स्क्रिप्ट बनाना है जो क्वेरी के परिणाम को डिस्क पर स्ट्रीम करता है और फिर जावा से फ़ाइल को पार्स करता है ...

Answer 1

ओच, यह मैंने देखा है कि जेडीबीसी का उपयोग कर सबसे बुरा कीड़े में से एक है। आप

st = connection.createStatement(
    ResultSet.CONCUR_READ_ONLY, 
    ResultSet.TYPE_FORWARD_ONLY 
); 

बदलना चाहिए

st = connection.createStatement(
    ResultSet.TYPE_FORWARD_ONLY, 
    ResultSet.CONCUR_READ_ONLY 
); 

में हो सकता है कि बस

st = connection.createStatement(); 

रूप में अच्छी तरह से काम करेगा (के रूप में आप एक कर्सर के लिए अन्य मानदंड पूरा करते हैं)।

Answer 2

Here यह सुनिश्चित करने के लिए दिशानिर्देश हैं कि परिणाम सेट वास्तव में एक कर्सर के साथ पुनर्प्राप्त किया गया है । आप अपने कोड में सभी ज्ञात लोगों पर हिट लगते हैं, लेकिन आपने कथन निर्दिष्ट नहीं किया है, इसलिए यह अर्धविरामों के साथ कई अलग-अलग हो सकता है (संभावना नहीं है, आपके कोड के दिखने से)। आपको वी 3 प्रोटोकॉल (संस्करण 7.4 या बाद में) का उपयोग करना होगा। क्या ये सभी चीजें आपके मामले पर लागू होती हैं?