मैं elasticsearch-template.json

Question

मैं logstash + elasticsearch का उपयोग syslog एकत्र करने के लिए और लॉग उम्र बढ़ने

मैं logstash में elasticsearch-template.json नाम की एक फ़ाइल को खोजने के लिए टीटीएल सेट करना चाहते हैं के माध्यम से डिफ़ॉल्ट elasticsearch मानचित्रण logstash सेट कर सकते हैं,

{ 
    "template" : "logstash-*", 
    "settings" : { 
    "index.refresh_interval" : "5s" 
    }, 
    "mappings" : { 
    "_default_" : { 
     "_all" : {"enabled" : true}, 
     "dynamic_templates" : [ { 
     "string_fields" : { 
      "match" : "*", 
      "match_mapping_type" : "string", 
      "mapping" : { 
      "type" : "string", "index" : "analyzed", "omit_norms" : true, 
       "fields" : { 
       "raw" : {"type": "string", "index" : "not_analyzed", "ignore_above" : 256} 
       } 
      } 
     } 
     } ], 
     "_ttl": { 
     "enabled": true, 
     "default": "1d" 
     }, 
     "properties" : { 
     "@version": { "type": "string", "index": "not_analyzed" }, 
     "geoip" : { 
      "type" : "object", 
      "dynamic": true, 
      "path": "full", 
      "properties" : { 
       "location" : { "type" : "geo_point" } 
      } 
     } 
     } 
    } 
    } 
} 

तो logstash पुनरारंभ करें, हटाएँ: पथ logstash/logstash-1.4.2/lib/logstash/आउटपुट/elasticsearch/elasticsearch-template.json

मैं इस तरह फ़ाइल में टीटीएल जानकारी जोड़ने है सभी लोचदार खोज सूचकांक। मैं लोचदार खोज में नई अनुक्रमणिका के मैपिंग की जांच करता हूं, लेकिन यह इस तरह से काम नहीं करता है।

मैं इंडेक्स टेम्पलेट को कैसे कॉन्फ़िगर कर सकता हूं?

Answer 1

ऐसा लगता है कि JSON फ़ाइल सही फ़ोल्डर में नहीं है। http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/indices-templates.html फ़ोल्डर के बारे में::

कॉन्फ़िग

सूचकांक टेम्पलेट्स भी config स्थान (path.conf) टेम्पलेट्स निर्देशिका (नोट के नीचे के भीतर रखा जा सकता है, बनाने के यहाँ टेम्पलेट का उपयोग करने के लिए कैसे पर दस्तावेज़ीकरण है उन्हें सभी मास्टर योग्य नोड्स पर रखना सुनिश्चित करें)। उदाहरण के लिए, template_1.json नामक एक फ़ाइल को कॉन्फ़िगर/टेम्पलेट्स के तहत रखा जा सकता है और यदि यह किसी इंडेक्स से मेल खाता है तो इसे जोड़ा जाएगा। यहां उल्लिखित फ़ाइल का नमूना दिया गया है:

Answer 2

आपको अपनी लॉगस्टैश कॉन्फ़िगरेशन बदलने की आवश्यकता है।

यदि आपने डिफ़ॉल्ट सेटिंग्स का पालन किया है, तो लॉगस्टैश ने पहले से ही logstash नामक लोचदार खोज के अंदर एक टेम्पलेट बनाया है, लॉगस्टैश elasticsearch में संग्रहीत उस टेम्पलेट का उपयोग जारी रखेगा जबतक कि आप इसे स्पष्ट रूप से नहीं बताते।

कि टेम्पलेट फ़ाइल आप पाया संशोधित लेकिन यह है कि के अलावा, अपने logstash विन्यास में, निम्न सेट करें:

output { 
    elasticsearch { 
    ... 
    template_overwrite => true 
    ... 
    } 
} 

Answer 3

मैं elasticsearch उत्पादन ब्लॉक में नए template.json फ़ाइल बनाया है और उसमें परिभाषित पथ गए logstash.yml कॉन्फ़िग फ़ाइल की:

input { 

file { 
path => "/your-path-to-directory/*.log" 
type => "name-of-type" 
} 
} 

: लचीला के लिए

stdout { codec => json_lines } 

elasticsearch { 

"hosts" => ["ip:port"] 
"index" => "name-of-index-%{+dd.MM.YYYY}" 
template => "/{path-to-logstash-folder}/templates/your-template.json" 
template_overwrite => true 
manage_template => false 
} 

DOCUMENT_TYPE मैं logstash.yml कॉन्फ़िग फ़ाइल के इनपुट ब्लॉक में परिभाषित

मेरी template.json फ़ाइल

{ 
"name-of-index": { 
"order": 0, 
"version": 50001, 
"template": "name-of-index-*", 
"settings": { 
    "index": { 
    "refresh_interval": "5s" 
    } 
}, 
"mappings": { 
    "_default_": { 
    "dynamic_templates": [ 
     { 
     "message_field": { 
      "path_match": "message", 
      "mapping": { 
      "norms": false, 
      "type": "text" 
      }, 
      "match_mapping_type": "string" 
     } 
     }, 
     { 
     "string_fields": { 
      "mapping": { 
      "norms": false, 
      "type": "text", 
      "fields": { 
       "keyword": { 
       "type": "keyword" 
       } 
      } 
      }, 
      "match_mapping_type": "string", 
      "match": "*" 
     } 
     } 
    ], 
    "_all": { 
     "norms": false, 
     "enabled": true 
    }, 
    "properties": { 
     "@timestamp": { 
     "include_in_all": false, 
     "type": "date" 
     }, 
     "geoip": { 
     "dynamic": true, 
     "properties": { 
      "ip": { 
      "type": "ip" 
      }, 
      "latitude": { 
      "type": "half_float" 
      }, 
      "location": { 
      "type": "geo_point" 
      }, 
      "longitude": { 
      "type": "half_float" 
      } 
     } 
     }, 
     "@version": { 
     "include_in_all": false, 
     "type": "keyword" 
     } 
    } 
    } 
}, 
"aliases": {} 
} 
}