क्लोजर के साथ डेटा पार्सिंग, अंतराल समस्या

Question

मैं सीखने के उद्देश्य के लिए क्लोजर में थोड़ा पार्सर लिख रहा हूं। मूल रूप से एक टीएसवी फ़ाइल पार्सर है जिसे डेटाबेस में डालने की आवश्यकता है, लेकिन मैंने एक जटिलता जोड़ा। जटिलता स्वयं ही है कि एक ही फ़ाइल में अधिक अंतराल होते हैं। इस तरह फ़ाइल देखो:

(defn is-header? 
    "Return true if a line is header" 
    [line] 
    (> (count (re-find #"^\#{3}" line)) 0)) 

(defn extract-fields 
    "Return regex matches" 
    [line pattern] 
    (rest (re-find pattern line))) 

(defn process-lines 
    [lines] 
    (map process-line lines)) 

(defn process-line 
    [line] 
    (if (is-header? line) 
    (extract-fields line header-pattern)) 
    (extract-fields line data-pattern)) 

मेरा विचार है कि इसलिए मैं की तरह कुछ है में 'प्रक्रिया ऑनलाइन' अंतराल डेटा के साथ मर्ज करने की आवश्यकता है:

###andreadipersio 2010-03-19 16:10:00###                     
USER  COMM    PID PPID %CPU %MEM  TIME 
root  launchd    1  0 0.0 0.0 2:46.97 
root  DirectoryService 11  1 0.0 0.2 0:34.59 
root  notifyd    12  1 0.0 0.0 0:20.83 
root  diskarbitrationd 13  1 0.0 0.0 0:02.84` 
.... 

###andreadipersio 2010-03-19 16:20:00###                     
USER  COMM    PID PPID %CPU %MEM  TIME 
root  launchd    1  0 0.0 0.0 2:46.97 
root  DirectoryService 11  1 0.0 0.2 0:34.59 
root  notifyd    12  1 0.0 0.0 0:20.83 
root  diskarbitrationd 13  1 0.0 0.0 0:02.84 

मैं इस कोड के साथ समाप्त हो गया इस:

('andreadipersio', '2010-03-19', '16:10:00', 'root', 'launchd', 1, 0, 0.0, 0.0, '2:46.97') 

अगले अंतराल तक हर पंक्ति के लिए

, लेकिन मैं समझ नहीं सकता कि यह कैसे ऐसा करने के लिए।

मैं कुछ इस तरह से करने की कोशिश की:

(def process-line 
    [line] 
    (if is-header? line) 
    (def header-data (extract-fields line header-pattern))) 
    (cons header-data (extract-fields line data-pattern))) 

लेकिन जैसे अपवादित यह काम नहीं करता।

कोई संकेत?

धन्यवाद!

Answer 1

आप (> (count (re-find #"^\#{3}" line)) 0) कर रहे हैं, लेकिन आप केवल (re-find #"^\#{3}" line) कर सकते हैं और परिणाम को बूलियन के रूप में उपयोग कर सकते हैं। यदि मैच विफल रहता है तो re-findnil देता है।

यदि आप किसी संग्रह में आइटम पर पुनरावृत्ति कर रहे हैं, और आप कुछ आइटम छोड़ना चाहते हैं या मूल में दो या दो से अधिक वस्तुओं को परिणाम में जोड़ना चाहते हैं, तो 99% बार आप reduce चाहते हैं। यह आमतौर पर बहुत सरल होने के समाप्त होता है।

;; These two libs are called "io" and "string" in bleeding-edge clojure-contrib 
;; and some of the function names are different. 
(require '(clojure.contrib [str-utils :as s] 
          [duck-streams :as io])) ; SO's syntax-highlighter still sucks 

(defn clean [line] 
    (s/re-gsub #"^###|###\s*$" "" line)) 

(defn interval? [line] 
    (re-find #"^#{3}" line)) 

(defn skip? [line] 
    (or (empty? line) 
     (re-find #"^USER" line))) 

(defn parse-line [line] 
    (s/re-split #"\s+" (clean line))) 

(defn parse [file] 
    (first 
    (reduce 
    (fn [[data interval] line] 
     (cond 
     (interval? line) [data (parse-line line)] 
     (skip? line)  [data interval] 
     :else   [(conj data (concat interval (parse-line line))) interval])) 
    [[] nil] 
    (io/read-lines file)))) 

Answer 2

मुझे आपके विवरण के आधार पर पूरी तरह से यकीन नहीं है, लेकिन शायद आप सिंटैक्स पर फिसल रहे हैं। क्या आप यही करना चाहते हैं?

(def process-line [line] 
    (if (is-header? line) ; extra parens here over your version 
    (extract-fields line header-pattern) ; returning this result 
    (extract-fields line data-pattern))) ; implicit "else" 

अपने "cons" समूह के लिए है एक साथ उनके संबद्ध विस्तार डेटा के साथ हेडर के इरादे, आपको लगता है कि पूरा करने के लिए कुछ और कोड की आवश्यकता होगी, लेकिन अगर यह "वालों" और या तो लौटने पर बस का प्रयास है, तो एक शीर्षलेख या विस्तार रेखा जिस पर निर्भर करता है, तो यह सही होना चाहिए।

Answer 3

एक संभावित दृष्टिकोण:

1. स्प्लिट line-seq साथ लाइनों में इनपुट। उप दृश्यों जिनमें से प्रत्येक या तो एक एकल हैडर लाइन या "प्रक्रिया की कुछ श्रेणियां संख्या में शामिल हैं में (आप एक स्ट्रिंग पर इस परीक्षण करना चाहते हैं, तो आप उस पर एक line-seq(line-seq (java.io.BufferedReader. (java.io.StringReader. test-string))) करके प्राप्त कर सकते हैं।)

2. विभाजन यह "(clojure.contrib.seq/partition-by is-header? your-seq-of-lines) के साथ। (((header-1) (process-line-1 process-line-2)) ((header-2) (process-line-3 process-line-4))):

3. वहाँ प्रत्येक हेडर के बाद कम से कम एक प्रक्रिया लाइन मानते हुए, (partition 2 *2) (जहां *2 अनुक्रम ऊपर चरण 2 में प्राप्त है) एक रूप निम्नलिखित जैसी का एक अनुक्रम वापस आ जाएगी। यदि इनपुट में कुछ शीर्षलेख रेखाएं हो सकती हैं जो किसी भी डेटा लाइन के बाद नहीं होती हैं, तो उपर्युक्त (((header-1a header-1b) (process-line-1 process-line-2)) ...) जैसा दिख सकता है।

---

(defn extract-fields-add-headers 
    [[headers process-lines]] 
    (let [header-fields (extract-fields (last headers) header-pattern)] 
    (map #(concat header-fields (extract-fields % data-pattern)) 
     process-lines))) 

((last headers) बिट व्याख्या करने के लिए:

अंत में, निम्नलिखित समारोह के साथ कदम 3 (*3) के उत्पादन को बदलने केवल इस मामले में जहां हम कई मिल जाएगा यहां शीर्षलेख तब होते हैं जब उनमें से कुछ की अपनी कोई डेटा लाइन नहीं होती है; वास्तव में डेटा लाइनों से जुड़ा एक अंतिम होता है।)

---

इन उदाहरण पैटर्न के साथ:

(def data-pattern #"(\w+)\s+(\w+)\s+(\d+)\s+(\d+)\s+([0-9.]+)\s+([0-9.]+)\s+([0-9:.]+)") 
(def header-pattern #"###(\w+)\s+([0-9-]+)\s+([0-9:]+)###") 
;; we'll need to throw out the "USER COMM ..." lines, 
;; empty lines and the "..." line which I haven't bothered 
;; to remove from your sample input 
(def discard-pattern #"^USER\s+COMM|^$|^\.\.\.") 

पूरे 'पाइप' इस प्रकार दिखाई देंगे:

;; just a reminder, normally you'd put this in an ns form: 
(use '[clojure.contrib.seq :only (partition-by)]) 

(->> (line-seq (java.io.BufferedReader. (java.io.StringReader. test-data))) 
    (remove #(re-find discard-pattern %)) ; throw out "USER COMM ..." 
    (partition-by is-header?) 
    (partition 2) 
    ;; mapcat performs a map, then concatenates results 
    (mapcat extract-fields-add-headers)) 

(। line-seq शायद अपने अंतिम कार्यक्रम में एक अलग स्रोत से इनपुट लेने के साथ)

आपके उदाहरण इनपुट के साथ, उपरोक्त इस तरह के आउटपुट उत्पन्न करता है (स्पष्टता के लिए लाइन ब्रेक जोड़ा गया है):

(("andreadipersio" "2010-03-19" "16:10:00" "root" "launchd" "1" "0" "0.0" "0.0" "2:46.97") 
("andreadipersio" "2010-03-19" "16:10:00" "root" "DirectoryService" "11" "1" "0.0" "0.2" "0:34.59") 
("andreadipersio" "2010-03-19" "16:10:00" "root" "notifyd" "12" "1" "0.0" "0.0" "0:20.83") 
("andreadipersio" "2010-03-19" "16:10:00" "root" "diskarbitrationd" "13" "1" "0.0" "0.0" "0:02.84") 
("andreadipersio" "2010-03-19" "16:20:00" "root" "launchd" "1" "0" "0.0" "0.0" "2:46.97") 
("andreadipersio" "2010-03-19" "16:20:00" "root" "DirectoryService" "11" "1" "0.0" "0.2" "0:34.59") 
("andreadipersio" "2010-03-19" "16:20:00" "root" "notifyd" "12" "1" "0.0" "0.0" "0:20.83") 
("andreadipersio" "2010-03-19" "16:20:00" "root" "diskarbitrationd" "13" "1" "0.0" "0.0" "0:02.84"))