jq

Question

के साथ विशाल जेसन-सरणी फ़ाइलों को प्रोसेस करना मेरे पास अपेक्षाकृत छोटी वस्तुओं की विशाल (~ 7 जीबी) जेसन सरणी है।

क्या पूरे ऑब्जेक्ट को स्मृति में लोड किए बिना इन वस्तुओं को फ़िल्टर करने का अपेक्षाकृत सरल तरीका है?

- स्ट्रीम विकल्प उपयुक्त दिखता है, लेकिन मैं यह नहीं समझ सकता कि मूल वस्तुओं में [पथ, मूल्य] की धारा को कैसे फोल्ड करना है।

Answer 1

jq 1.5 में एक स्ट्रीमिंग पार्सर है। JQ FAQ कैसे JSON के एक उच्च-स्तरीय सरणी उसके तत्वों की एक धारा में वस्तुओं को परिवर्तित करने का एक उदाहरण देता है:

$ jq -nc --stream 'fromstream(1|truncate_stream(inputs))' 
[{foo:"bar"},{foo:"baz"}] 
{"foo":"bar"} 
{"foo":"baz"} 

अपने उद्देश्यों के लिए पर्याप्त हो सकता है, लेकिन यह है कि setpath/2 पर ध्यान देना उपयुक्त है सकते हैं सहायक बनें।

jq -c --stream '. as $in | select(length == 2) | {}|setpath($in[0]; $in[1])' 

अधिक जानकारी और प्रलेखन JQ के मैनुअल में उपलब्ध है:: https://stedolan.github.io/jq/manual/#Streaming