मल्टीकोर

Question

का उपयोग करने के लिए पिप बिल्ड विकल्प मैंने पाया कि पीआईपी संकुल संकलित करते समय केवल एक कोर का उपयोग करता है। चूंकि कुछ पायथन पैकेजों को पाइप का उपयोग करने के लिए कुछ समय लगता है, इसलिए मैं मशीन पर मल्टीकोर का उपयोग करना चाहता हूं। मेकफ़ाइल का उपयोग करते समय, मैं इसे निम्न आदेश की तरह कर सकता हूं:

make -j4 

मैं पाइप के लिए एक ही चीज़ कैसे प्राप्त कर सकता हूं?

Answer 1

जो मैं कह सकता हूं उससे पीपी की तरह यह क्षमता नहीं है लेकिन मुझे गलत हो सकता है।

बहु अजगर में आप बहु पैकेज का उपयोग करने के लिए, (http://pymotw.com/2/multiprocessing/basics.html) इसे कैसे करना है अगर आप रुचि रखते हैं के बारे में [यहाँ एक गाइड मैंने पाया है] और इस अजगर डॉक्स कि इस बारे में बात करने के लिए एक link है। मुझे यह प्रश्न यह भी सुनिश्चित करने के लिए मिला कि Multiprocessing vs Threading Python, यह सुनिश्चित करने के लिए कि मल्टीप्रोसेसिंग ने जो किया है, मैंने कई सीपीयू का लाभ उठाया है।

मैं पाइप स्रोत कोड (उपलब्ध here) से गुजर चुका हूं, मल्टीप्रोसेसिंग पैकेज के संदर्भ की तलाश में और पैकेज का कोई उपयोग नहीं मिला। इसका मतलब यह होगा कि पाइप मल्टीप्रोसेसिंग का उपयोग/समर्थन नहीं करता है। मैं /pip/commands/install.py फ़ाइल को बता सकता हूं कि आपके प्रश्न के लिए रुचि है क्योंकि इसे pip install <package> चलाते समय कहा जाता है। इस फ़ाइल के लिए विशेष रूप से आयात

from __future__ import absolute_import 

import logging 
import os 
import tempfile 
import shutil 
import warnings 

from pip.req import InstallRequirement, RequirementSet, parse_requirements 
from pip.locations import virtualenv_no_global, distutils_scheme 
from pip.basecommand import Command 
from pip.index import PackageFinder 
from pip.exceptions import (
    InstallationError, CommandError, PreviousBuildDirError, 
) 
from pip import cmdoptions 
from pip.utils.deprecation import RemovedInPip7Warning, RemovedInPip8Warning 

जो आप देख सकते हैं बहु पैकेज के लिए किसी भी संदर्भ नहीं है कर रहे हैं लेकिन मैं अन्य फ़ाइलों के सभी की जाँच किया था बस सुनिश्चित करने के।

इसके अलावा, मैंने pip install documentation की जांच की और एकाधिक कोर का उपयोग करके इंस्टॉल करने का कोई संदर्भ नहीं मिला।

टीएल; डीआर: पिप जो भी आप पूछ रहे हैं वह नहीं करता है। मैं गलत हो सकता हूं क्योंकि मैंने लंबे समय तक स्रोत को नहीं देखा लेकिन मुझे पूरा यकीन है कि यह इसका समर्थन नहीं करता है।

Answer 2

अंतिम इस समस्या

हल करने के लिए क्योंकि सभी ग/सीपीपी फ़ाइलों make सराहना का उपयोग करके संकलित किया जाएगा मार्ग, और make एक विकल्प है जो कितने सीपीयू कोर स्रोत संकलित करने के लिए इस्तेमाल किया जा shoule निर्दिष्ट है कोड, हम make पर कुछ चाल कर सकते हैं।

1. बैकअप अपने मूल make आदेश:

   sudo cp /usr/bin/make /usr/bin/make.bak

2. एक "नकली" make आदेश है, जो अपने पैरामीटर सूची में --jobs=6 संलग्न करें और उन्हें मूल मेकअप आदेश make.bak को पारित करेंगे लिखें:

   make.bak --jobs=6 $@

तो उसके बाद, सी libs के साथ अजगर संकलित भी नहीं, बल्कि दूसरों में सी libs 6 कोर द्वारा संकलन पर तेजी होगी। असल में make कमांड का उपयोग करके संकलित सभी फाइलें तेज हो जाएंगी।

और शुभकामनाएं।

---

उपयोग: --install-विकल्प = "- नौकरियों = 6"।

pip3 install --install-option="--jobs=6" PyXXX 

मेरे पास एक ही मांग है जो संकलन प्रगति को गति देने के लिए पाइप इंस्टॉल का उपयोग करें। मेरा लक्ष्य पीकेजी पायसाइड है। सबसे पहले मैं pip3 install pyside का उपयोग करता हूं, मुझे लगभग 30 मिनट (एएमडी 1055T 6-कोर, 10 जी रैम) लगता है, केवल एक कोर 100% लोड लेता है।

pip3 --help में कोई सुराग नहीं है, लेकिन मैं pip install -u pyXXX की तरह बहुत सारे विकल्प मिल गया है, लेकिन मैं नहीं जानता था कि क्या '-u' है और इस पैरामीटर भी pip --help में नहीं था। मैंने 'pip3 install --help' की कोशिश की और जवाब आया: - स्थापना-विकल्प।

मैंने पायसाइड के कोड के कोड को पढ़ा और एक और सुराग पाया: OPTION_JOBS = has_option('jobs'), मैंने ipdb.set_trace() वहां रखा है और अंत में यह समझते हैं कि पाइप इंस्टॉल का उपयोग करके संकलित करने के लिए मल्टीकोर का उपयोग कैसे करें।

मुझे लगभग 6 मिनट लग गए।

-------------------------- अद्यतन ------------------- -----------

नीचे टिप्पणी के रूप में, मैं अंत में इस तरह चाल का इस्तेमाल किया: cd /usr/bin sudo mv make make.bak touch make फिर संपादित करें: vim make या अन्य तरीके से आप की तरह है और इस टाइप करें: make.bak --jobs=6 $* मैं बैश से परिचित नहीं हूं, इसलिए मुझे यकीन नहीं है कि यह कोर्रेक्ट बैश कोड है या नहीं। मैं विंडोज़ में यह टिप्पणी लिख रहा हूं। कुंजी का नाम बनाने का नाम है। बाक, और उसके बाद एक नया मेक बनाएं, अतिरिक्त पैरा के साथ make.bak को कॉल करने के लिए इस नए मेक का उपयोग करें --jobs = 6