क्या मैं लॉगस्टैश से संदेश फ़ील्ड हटा सकता हूं?

Question

मेरे पास मूल लॉगस्टैश -> लोचदार खोज सेटअप है, और यह पता चला है कि लॉगस्टैश फ़िल्टर ने अपना काम पूरा करने के बाद 'संदेश' फ़ील्ड की आवश्यकता नहीं है - इस कच्चे संदेश फ़ील्ड को लोचदार खोज में संग्रहीत करना केवल स्टोरेज आईएमओ को अनावश्यक डेटा जोड़ रहा है।

क्या मैं सुरक्षित रूप से इस क्षेत्र को हटा सकता हूं और क्या इससे ईएस को कोई परेशानी होगी? सलाह या रीडिंग का स्वागत है, धन्यवाद।

Answer 1

नहीं, इससे ईएस को कोई परेशानी नहीं होगी। यदि आप अनावश्यक या अप्रयुक्त हैं तो आप message फ़ील्ड को हटा सकते हैं।

आप फ़िल्टर के अंत में यह filter जोड़ सकते हैं।

mutate 
{ 
    remove_field => [ "message" ] 
} 

Answer 2

आप इसे json फ़िल्टर के भीतर भी कर सकते हैं।

filter { 
    json { 
    source => "message" 
    remove_field => ["message"] 
    } 
} 

Answer 3

मैं बेन लिम द्वारा जवाब देने के लिए एक टिप्पणी के रूप में निम्नलिखित को शामिल किया है होगा, लेकिन मैं एक टिप्पणी में एक कोड ब्लॉक को जोड़ने का तरीका पता नहीं है, या कि संभव है भी है कि क्या ...

यदि आप इनपुट और कोडेक के संयोजन का उपयोग कर सकते हैं जो message फ़ील्ड नहीं बनाता है, तो आपको इसे हटाने की आवश्यकता नहीं है।

input { 
    tcp { 
    port => 5044 
    codec => json_lines 
    } 
} 
output { 
    elasticsearch { 
    hosts => ["localhost"] 
    document_type => "mytype" 
    index => "myindex" 
    } 
}