मैं पायथन/पायस्पार्क के साथ ग्राफिक्स कैसे चला सकता हूं?

Question

मैं पाइस्पार्क का उपयोग कर पाइथन के साथ स्पार्क ग्राफ़िक्स चलाने का प्रयास कर रहा हूं। मेरी स्थापना सही दिखाई देती है, क्योंकि मैं pyspark ट्यूटोरियल और (जावा) ग्राफएक्स ट्यूटोरियल को ठीक करने में सक्षम हूं। संभवतः ग्राफिक्स स्पार्क का हिस्सा है, इसलिए pyspark इसे इंटरफ़ेस करने में सक्षम होना चाहिए, सही? http://spark.apache.org/docs/0.9.0/quick-start.html http://spark.apache.org/docs/0.9.0/python-programming-guide.html

यहाँ कर रहे हैं लोगों को GraphX ​​के लिए:

यहाँ pyspark के लिए ट्यूटोरियल हैं http://spark.apache.org/docs/0.9.0/graphx-programming-guide.html http://ampcamp.berkeley.edu/big-data-mini-course/graph-analytics-with-graphx.html

किसी को भी परिवर्तित कर सकते हैं अजगर में होने की GraphX ​​ट्यूटोरियल?

Answer 1

यह GraphX ​​को अजगर बाइंडिंग की तरह लग रहा है कम से कम करने के लिए स्पार्क 1,4 1,5 ∞ विलंब हुआ है। यह जावा एपीआई के पीछे इंतजार कर रहा है।

आप SPARK-3789 GRAPHX Python bindings for GraphX - ASF JIRA

Answer 2

ग्राफिक्स 0.9.0 में अभी तक पायथन एपीआई नहीं है। आगामी रिलीज में इसकी उम्मीद है।

Answer 3

पर ट्रैक कर सकते हैं आप GraphFrames (https://github.com/graphframes/graphframes) है, जो DataFrames एपीआई के तहत GraphX ​​एल्गोरिदम लपेटता पर गौर करना चाहिए और उस पर Python इंटरफेस प्रदान करता है।

यहाँ http://graphframes.github.io/quick-start.html से एक त्वरित उदाहरण है, मामूली संशोधन के साथ इतना है कि यह काम करता है

graphframes pkg साथ पहली शुरुआत pyspark

pyspark --packages graphframes:graphframes:0.1.0-spark1.6

अजगर कोड भरी हुई:

from graphframes import * 

# Create a Vertex DataFrame with unique ID column "id" 
v = sqlContext.createDataFrame([ 
    ("a", "Alice", 34), 
    ("b", "Bob", 36), 
    ("c", "Charlie", 30), 
], ["id", "name", "age"]) 

# Create an Edge DataFrame with "src" and "dst" columns 
e = sqlContext.createDataFrame([ 
    ("a", "b", "friend"), 
    ("b", "c", "follow"), 
    ("c", "b", "follow"), 
], ["src", "dst", "relationship"]) 
# Create a GraphFrame 
g = GraphFrame(v, e) 

# Query: Get in-degree of each vertex. 
g.inDegrees.show() 

# Query: Count the number of "follow" connections in the graph. 
g.edges.filter("relationship = 'follow'").count() 

# Run PageRank algorithm, and show results. 
results = g.pageRank(resetProbability=0.01, maxIter=20) 
results.vertices.select("id", "pagerank").show()