स्कैला में एन-ग्राम कैसे उत्पन्न करें?

Question

मैं स्कैला में एन-ग्राम के आधार पर पृथक प्रेस एल्गोरिदम कोड करने की कोशिश कर रहा हूं। बड़ी फ़ाइलों के लिए एन-ग्राम कैसे उत्पन्न करें: उदाहरण के लिए, "मधुमक्खी मधुमक्खियों का मधुमक्खी" वाली फ़ाइल के लिए।

1. सबसे पहले इसे यादृच्छिक एन-ग्राम चुनना होगा। उदाहरण के लिए, मधुमक्खी।
2. फिर इसे एन-ग्राम (एन -1) शब्दों से शुरू करना है। उदाहरण के लिए, मधुमक्खी।
3. यह इस एन-ग्राम के अंतिम शब्द को प्रिंट करता है। फिर दोहराना।

क्या आप कृपया मुझे कुछ संकेत दे सकते हैं कि यह कैसे करें? असुविधा के लिए खेद है।

Answer 1

आपके प्रश्न थोड़ा अधिक विशिष्ट हो सकते हैं लेकिन यहां मेरी कोशिश है।

val words = "the bee is the bee of the bees" 
words.split(' ').sliding(2).foreach(p => println(p.mkString)) 

Answer 2

आप n

val words = "the bee is the bee of the bees" 
val w = words.split(" ") 

val n = 4 
val ngrams = (for(i <- 1 to n) yield w.sliding(i).map(p => p.toList)).flatMap(x => x) 
ngrams foreach println 

List(the) 
List(bee) 
List(is) 
List(the) 
List(bee) 
List(of) 
List(the) 
List(bees) 
List(the, bee) 
List(bee, is) 
List(is, the) 
List(the, bee) 
List(bee, of) 
List(of, the) 
List(the, bees) 
List(the, bee, is) 
List(bee, is, the) 
List(is, the, bee) 
List(the, bee, of) 
List(bee, of, the) 
List(of, the, bees) 
List(the, bee, is, the) 
List(bee, is, the, bee) 
List(is, the, bee, of) 
List(the, bee, of, the) 
List(bee, of, the, bees) 

Answer 3

यहाँ की एक पैरामीटर के साथ इस कोशिश कर सकते हैं एक धारा आधारित दृष्टिकोण है। एन-ग्राम की गणना करते समय इसे बहुत अधिक स्मृति की आवश्यकता नहीं होगी।

object ngramstream extends App { 

    def process(st: Stream[Array[String]])(f: Array[String] => Unit): Stream[Array[String]] = st match { 
    case x #:: xs => { 
     f(x) 
     process(xs)(f) 
    } 
    case _ => Stream[Array[String]]() 
    } 

    def ngrams(n: Int, words: Array[String]) = { 
    // exclude 1-grams 
    (2 to n).map { i => words.sliding(i).toStream } 
     .foldLeft(Stream[Array[String]]()) { 
     (a, b) => a #::: b 
     } 
    } 

    val words = "the bee is the bee of the bees" 
    val n = 4 
    val ngrams2 = ngrams(n, words.split(" ")) 

    process(ngrams2) { x => 
    println(x.toList) 
    } 

} 

उत्पादन:

List(the, bee) 
List(bee, is) 
List(is, the) 
List(the, bee) 
List(bee, of) 
List(of, the) 
List(the, bees) 
List(the, bee, is) 
List(bee, is, the) 
List(is, the, bee) 
List(the, bee, of) 
List(bee, of, the) 
List(of, the, bees) 
List(the, bee, is, the) 
List(bee, is, the, bee) 
List(is, the, bee, of) 
List(the, bee, of, the) 
List(bee, of, the, bees)