Kullback-Leibler (केएल) हिस्टोग्राम के बीच की दूरी - matlab

Question

function [ d ] = hcompare_KL(h1,h2) 
%This routine evaluates the Kullback-Leibler (KL) distance between histograms. 
%    Input:  h1, h2 - histograms 
%    Output: d – the distance between the histograms. 
%    Method: KL is defined as: 
%    Note, KL is not symmetric, so compute both sides. 
%    Take care not to divide by zero or log zero: disregard entries of the sum  for which with H2(i) == 0. 

temp = sum(h1 .* log(h1 ./ h2)); 
temp(isinf(temp)) = 0; % this resloves where h1(i) == 0 
d1 = sum(temp); 

temp = sum(h2 .* log(h2 ./ h1)); % other direction of compare since it's not symetric 
temp(isinf(temp)) = 0; 
d2 = sum(temp); 

d = d1 + d2; 

end 

मेरी समस्या है कि जब भी h1 (i) या h2 (i) == 0 मैं inf अपेक्षा के अनुरूप है जो हो रही है। हालांकि केएल दूरी में मुझे लगता है कि जब भी वे एच 1 या एच 2 == 0 लूप का उपयोग किए बिना मैं कैसे कर सकता हूं?

Answer 1

मुद्दों कर जब गिनती के किसी भी 0 से बचने के लिए, मैं सुझाव है कि आप एक सूचकांक कि "अच्छा" डेटा बिंदुओं के निशान बनाने के लिए:

%# you may want to do some input testing, such as whether h1 and h2 are 
%# of the same size 

%# preassign the output 
d = zeros(size(h1)); 

%# create an index of the "good" data points 
goodIdx = h1>0 & h2>0; %# bin counts <0 are not good, either 

d1 = sum(h1(goodIdx) .* log(h1(goodIdx) . /h2(goodIdx))); 
d2 = sum(h2(goodIdx) .* log(h2(goodIdx) . /h1(goodIdx))); 

%# overwrite d only where we have actual data 
%# the rest remains zero 
d(goodIdx) = d1 + d2; 

Answer 2

मैं अपने कार्यान्वयन में कुछ गलत देखते हैं। कृपया log2 से लॉग इन करें

Answer 3

कोशिश का उपयोग करने के

d=sum(h1.*log2(h1+eps)-h1.*log2(h2+eps)) 

ध्यान दें कि केएल (H1, H2) केएल (h2, एच 1) के साथ अलग है संपादित करें। आपके मामले में केएल (एच 1, एच 2) है, है ना? मुझे लगता है कि आपका कार्यान्वयन गलत है। यह एच 1 और एच 2 के बीच दूरी नहीं है। h1 और h2 के बीच केएल दूरी

KL(h1,h2)=sum(h1.log(h1/h2))=sum(h1.logh1-h2.logh2). 

परिभाषित किया गया है तो सही कार्यान्वयन

d=sum(h1.*log2(h1+eps)-h1.*log2(h2+eps)) %KL(h1,h2) 

या

d=sum(h2.*log2(h2+eps)-h2.*log2(h1+eps)) %KL(h2,h1)