पुन: शुरू करने के बाद ककड़ी परीक्षणों की रिपोर्ट कैसे करें?

Question

मेरे पास परीक्षणों का एक सूट है जो समांतर परीक्षण का उपयोग करके निरंतर एकीकरण में लॉन्च किया गया है। तैनाती के बाद पर्यावरण थोड़ा अस्थिर है, इसलिए जब सूट समाप्त हो जाता है, तो विफल परीक्षणों को फिर से शुरू किया जाता है (इस पल तक पर्यावरण फिर से स्थिर होता है)।

असल में, वहाँ केवल एक ही जेनकींस का निर्माण होता है, और यह इस पर अमल होगा:

task :jenkins1_with_rerun do 
selenium_successful = system "bundle exec parallel_cucumber features/web/ -o \"-p jenkins1\" -n 3" 
p 'start rerun' 
rerun_successful = run_rake_task("features:jenkins_rerun") 

unless selenium_successful || rerun_successful 
    raise 'Cucumber tests failed' 
end 
end 

पहले निष्पादन समानांतर परीक्षण के साथ संलग्न की शुरूआत।

jenkins1: 
    <%= std_opts %> 
    HEADLESS=true 
    --tags @part1 
    --tags ~@wip 
    --format junit 
    --out log/junit 
    --format ParallelTests::Cucumber::FailuresLogger 
    --out parallel_cucumber_failures.log 

के बाद यह समाप्त हो गया है: यहाँ ककड़ी प्रोफ़ाइल है। दूसरा निष्पादन प्रारंभ होता है, फ़ाइल में दर्ज असफल परीक्षणों को लॉन्च करता है। इस निष्पादन के लिए ककड़ी प्रोफाइल यह है:

jenkins_rerun: 
    ENVIRONMENT=master 
    SCREENSHOT=true 
    HEADLESS=true 
    --format pretty 
    --no-source 
    --format junit 
    --out log/junit_rerun 
    @parallel_cucumber_failures.log 

अब। सब कुछ काम करता है। एकमात्र समस्या यह है कि मैं असफल और सफल परीक्षणों के ग्राफ बनाने के लिए जेनकींस में जूनिट रिपोर्ट का उपयोग करता हूं। मैं इस तरह की रिपोर्ट है हो सकता है:

------------------- टेस्ट --- KO --- ठीक

पहले निष्पादन --- 75 --- 10 ---- 65

को पुन: चलाएं ------------- 10 ------- 0 ---- 10

यह 100% हरा है , क्योंकि तैनाती के बाद सभी समस्याएं अस्थिरता के कारण हुई थीं। तो मैं जेनकिंस में जूनिट रिपोर्ट चाहता हूं कि 75 परीक्षण लॉन्च किए गए हैं, 75 ओके, 0 केओ, या कुछ समकक्ष।

अभी, पहले निष्पादन की जूनिट रिपोर्ट में कहा गया है कि 75 परीक्षणों में से मेरे पास 10 केओ हैं; और दूसरा जूनिट कहता है कि 10 परीक्षणों में 0 केओ हैं।

क्या इस के लिए एक अच्छा समाधान हो सकता है? जूनिट रिपोर्ट दोनों के परिणामों को मिश्रण करना संभव है?

मैं जैनकिंस दोनों में जेनकिंस में प्रदर्शित करने में सक्षम होने के लिए भी स्वीकार करूंगा, प्रत्येक एक ग्राफ के साथ। लेकिन मुझे लगता है कि जेनकिंस केवल एक जूनिट रिपोर्ट ग्राफ दिखाने की अनुमति देता है।

Answer 1

मैंने अंत में इस समस्या का समाधान किया।

समाधान "पार्सर" बनाना था जो रीरन द्वारा उत्पन्न जूनिट फाइलों के माध्यम से (रेगेक्स के साथ) खोजता था, और उसके बाद मूल/पहले रन की जेनीट फाइलों पर जाता है और उन परीक्षणों के परिणामों को फिर से लिखता है पुनरावृत्ति के दौरान पारित किया।

अंत में, अगर सब कुछ ठीक हो गया है, तो जूनिट ग्राफ 100% हरा है और असफलताओं के अलर्ट नहीं हैं।