एज़ूर एमएल प्रयोगों से एज़ूर ब्लॉब स्टोरेज को Reader और Writer मॉड्यूल के माध्यम से सीएसवी फ़ाइलों को पढ़ने और लिखने के तरीके प्रदान करते हैं। हालांकि, मुझे स्टोरेज ब्लॉब करने के लिए एक JSON फ़ाइल लिखनी होगी। चूंकि ऐसा करने के लिए कोई मॉड्यूल नहीं है, इसलिए मैं Execute Python Script मॉड्यूल के भीतर ऐसा करने की कोशिश कर रहा हूं।एज़ूर एमएल प्रयोग
# Import the necessary items
from azure.storage.blob import BlobService
def azureml_main(dataframe1 = None, dataframe2 = None):
account_name = 'mystorageaccount'
account_key='mykeyhere=='
json_string='{jsonstring here}'
blob_service = BlobService(account_name, account_key)
blob_service.put_block_blob_from_text("upload","out.json",json_string)
# Return value must be of a sequence of pandas.DataFrame
return dataframe1,
बहरहाल, यह एक त्रुटि में परिणाम है: ImportError: No module named azure.storage.blob
इसका मतलब है कि azure-storage अजगर पैकेज Azure एमएल पर स्थापित नहीं है।
मैं एज़ूर एमएल प्रयोग के अंदर से एज़ूर ब्लॉब स्टोरेज को कैसे लिख सकता हूं?
यहाँ भरने त्रुटि संदेश है:
Error 0085: The following error occurred during script evaluation, please view the output log for more information:
---------- Start of error message from Python interpreter ----------
data:text/plain,Caught exception while executing function: Traceback (most recent call last):
File "C:\server\invokepy.py", line 162, in batch
mod = import_module(moduleName)
File "C:\pyhome\lib\importlib\__init__.py", line 37, in import_module
__import__(name)
File "C:\temp\azuremod.py", line 19, in <module>
from azure.storage.blob import BlobService
ImportError: No module named azure.storage.blob
---------- End of error message from Python interpreter ----------
Start time: UTC 02/06/2016 17:59:47
End time: UTC 02/06/2016 18:00:00`
धन्यवाद, हर कोई!
अद्यतन: नीचे दिए गए विचारों के लिए दान और पीटर के लिए धन्यवाद। यह प्रगति का उपयोग करके मैंने प्रगति की है। मैंने अपनी साइट-पैकेज निर्देशिका में निर्भरता प्राप्त करने के लिए एक स्वच्छ पायथन 2.7 वर्चुअल वातावरण (वीएस 2005 में) बनाया, और pip install azure-storage किया। मैंने नीचे दिए गए दान के नोट के अनुसार, साइट-पैकेज फ़ोल्डर को ज़िपित किया और ज़िप फ़ाइल के रूप में अपलोड किया। इसके बाद मैंने साइट-पैकेज निर्देशिका का संदर्भ शामिल किया और आवश्यक वस्तुओं को सफलतापूर्वक आयात किया। इसके परिणामस्वरूप ब्लॉग स्टोरेज में लिखते समय त्रुटि हुई। यहाँ
# Get access to the uploaded Python packages
import sys
packages = ".\Script Bundle\site-packages"
sys.path.append(packages)
# Import the necessary items from packages referenced above
from azure.storage.blob import BlobService
from azure.storage.queue import QueueService
def azureml_main(dataframe1 = None, dataframe2 = None):
account_name = 'mystorageaccount'
account_key='p8kSy3F...elided...3plQ=='
blob_service = BlobService(account_name, account_key)
blob_service.put_block_blob_from_text("upload","out.txt","Test to write")
# All of the following also fail
#blob_service.create_container('images')
#blob_service.put_blob("upload","testme.txt","foo","BlockBlob")
#queue_service = QueueService(account_name, account_key)
#queue_service.create_queue('taskqueue')
# Return value must be of a sequence of pandas.DataFrame
return dataframe1,
और नई त्रुटि लॉग है:
यहाँ मेरी कोड है
Error 0085: The following error occurred during script evaluation, please view the output log for more information:
---------- Start of error message from Python interpreter ----------
data:text/plain,C:\pyhome\lib\site-packages\requests\packages\urllib3\util\ssl_.py:79: InsecurePlatformWarning: A true SSLContext object is not available. This prevents urllib3 from configuring SSL appropriately and may cause certain SSL connections to fail. For more information, see https://urllib3.readthedocs.org/en/latest/security.html#insecureplatformwarning.
InsecurePlatformWarning
Caught exception while executing function: Traceback (most recent call last):
File "C:\server\invokepy.py", line 169, in batch
odfs = mod.azureml_main(*idfs)
File "C:\temp\azuremod.py", line 44, in azureml_main
blob_service.put_blob("upload","testme.txt","foo","BlockBlob")
File ".\Script Bundle\site-packages\azure\storage\blob\blobservice.py", line 883, in put_blob
self._perform_request(request)
File ".\Script Bundle\site-packages\azure\storage\storageclient.py", line 171, in _perform_request
resp = self._filter(request)
File ".\Script Bundle\site-packages\azure\storage\storageclient.py", line 160, in _perform_request_worker
return self._httpclient.perform_request(request)
File ".\Script Bundle\site-packages\azure\storage\_http\httpclient.py", line 181, in perform_request
self.send_request_body(connection, request.body)
File ".\Script Bundle\site-packages\azure\storage\_http\httpclient.py", line 143, in send_request_body
connection.send(request_body)
File ".\Script Bundle\site-packages\azure\storage\_http\requestsclient.py", line 81, in send
self.response = self.session.request(self.method, self.uri, data=request_body, headers=self.headers, timeout=self.timeout)
File "C:\pyhome\lib\site-packages\requests\sessions.py", line 464, in request
resp = self.send(prep, **send_kwargs)
File "C:\pyhome\lib\site-packages\requests\sessions.py", line 576, in send
r = adapter.send(request, **kwargs)
File "C:\pyhome\lib\site-packages\requests\adapters.py", line 431, in send
raise SSLError(e, request=request)
SSLError: The write operation timed out
---------- End of error message from Python interpreter ----------
Start time: UTC 02/10/2016 15:33:00
End time: UTC 02/10/2016 15:34:18
मेरे वर्तमान अन्वेषण प्रमुख है वहाँ एक निर्भरता पर है कि requestsazure-storage में पायथन पैकेज। requests में नए एसएसएल प्रोटोकॉल को कॉल करने के लिए पायथन 2.7 में एक ज्ञात बग है। यकीन नहीं है, लेकिन मैं अब उस क्षेत्र में चारों ओर खोद रहा हूँ।
अद्यतन 2: यह कोड पाइथन 3 जुपीटर नोटबुक के अंदर पूरी तरह ठीक है। इसके अतिरिक्त, यदि मैं ब्लॉब कंटेनर को सार्वजनिक पहुंच के लिए खोलता हूं, तो मैं सीधे एक यूआरएल के माध्यम से कंटेनर से पढ़ सकता हूं। उदाहरण के लिए: df = pd.read_csv("https://mystorageaccount.blob.core.windows.net/upload/test.csv") आसानी से ब्लॉब स्टोरेज से फ़ाइल लोड करता है। हालांकि, मैं उसी फ़ाइल से पढ़ने के लिए azure.storage.blob.BlobService का उपयोग नहीं कर सकता।
अद्यतन 3: दान, नीचे एक टिप्पणी में, मैं Jupyter पुस्तिकाओं Azure एमएल पर होस्ट से कोशिश का सुझाव दिया। मैं इसे स्थानीय जुपीटर नोटबुक से चला रहा था (ऊपर अपडेट 2 देखें)। हालांकि, यह एज़ूर एमएल नोटबुक से चलने पर विफल रहता है, और त्रुटियां requires पैकेज को फिर से इंगित करती हैं। मुझे उस पैकेज के साथ ज्ञात समस्याएं ढूंढनी होंगी, लेकिन मेरे पढ़ने से, ज्ञात समस्या urllib3 के साथ है और केवल Python 2.7 को प्रभावित करती है और कोई पायथन 3.x संस्करण नहीं है। और यह एक पायथन 3.x नोटबुक में चलाया गया था। गरर।
अद्यतन 4: दान नीचे नोटों के रूप में, यह, Azure एमएल नेटवर्किंग के साथ एक मुद्दा हो सकता के रूप में Execute Python Script अपेक्षाकृत नई है और सिर्फ नेटवर्किंग का समर्थन मिला है। हालांकि, मैंने यह भी एक Azure ऐप सेवा वेबबॉज पर परीक्षण किया है, जो पूरी तरह से अलग Azure मंच पर है। (यह एक पूरी तरह से अलग पायथन वितरण पर भी है और पाइथन 2.7 और 3.4/5 दोनों का समर्थन करता है, लेकिन केवल 32 बिट पर - 64 बिट मशीनों पर भी।) कोड भी InsecurePlatformWarning संदेश के साथ विफल रहता है।
[02/08/2016 15:53:54 > b40783: SYS INFO] Run script 'ListenToQueue.py' with script host - 'PythonScriptHost'
[02/08/2016 15:53:54 > b40783: SYS INFO] Status changed to Running
[02/08/2016 15:54:09 > b40783: INFO] test.csv
[02/08/2016 15:54:09 > b40783: ERR ] D:\home\site\wwwroot\env\Lib\site-packages\requests\packages\urllib3\util\ssl_.py:315: SNIMissingWarning: An HTTPS request has been made, but the SNI (Subject Name Indication) extension to TLS is not available on this platform. This may cause the server to present an incorrect TLS certificate, which can cause validation failures. For more information, see https://urllib3.readthedocs.org/en/latest/security.html#snimissingwarning.
[02/08/2016 15:54:09 > b40783: ERR ] SNIMissingWarning
[02/08/2016 15:54:09 > b40783: ERR ] D:\home\site\wwwroot\env\Lib\site-packages\requests\packages\urllib3\util\ssl_.py:120: InsecurePlatformWarning: A true SSLContext object is not available. This prevents urllib3 from configuring SSL appropriately and may cause certain SSL connections to fail. For more information, see https://urllib3.readthedocs.org/en/latest/security.html#insecureplatformwarning.
[02/08/2016 15:54:09 > b40783: ERR ] InsecurePlatformWarning
[02/08/2016 15:54:09 > b40783: ERR ] D:\home\site\wwwroot\env\Lib\site-packages\requests\packages\urllib3\util\ssl_.py:120: InsecurePlatformWarning: A true SSLContext object is not available. This prevents urllib3 from configuring SSL appropriately and may cause certain SSL connections to fail. For more information, see https://urllib3.readthedocs.org/en/latest/security.html#insecureplatformwarning.
[02/08/2016 15:54:09 > b40783: ERR ] InsecurePlatformWarning
दान, मैं प्रतिक्रिया की सराहना करता हूं। यह एक ज़िप फ़ाइल के साथ चीजों को स्थापित करने में एक महान परिचय है, लेकिन यह केवल संकेत देता है कि मूल समस्या को कैसे हल किया जाए, यह प्रभावी रूप से azure.storage.blob आयात करने में सक्षम नहीं है। मैंने जिथब से वास्तविक कोड लिया और इसे लाया ताकि मैं इसका संदर्भ दे सकूं। इसने मुझे सफलतापूर्वक azure.storage.blob का संदर्भ देने की अनुमति दी, हालांकि, यह पर्याप्त नहीं है क्योंकि सभी अनुरोध समय समाप्त हो रहे हैं। मैं इसे अपनी मूल पोस्ट पर एक टिप्पणी में अधिक संबोधित करूंगा। लेकिन मैं वास्तव में धन्यवाद कहना चाहता हूं, दान। यह बहुत उपयोगी है, खासतौर पर बाद वाले प्रश्नों वाले लोगों के लिए। –
मुझे प्रश्न के लिए कोई अपडेट नहीं दिख रहा है ... लेकिन क्या कंटेनर आप ब्लॉब को अपलोड करने की कोशिश कर रहे हैं? आपका कोड कंटेनर नहीं बनाएगा यदि यह पहले से मौजूद नहीं है। 'Blob_service.create_container (' mycontainer ') जोड़ने की आवश्यकता हो सकती है? उम्मीद है कि यह मदद कर सकता है। –
फिर से धन्यवाद, दान। मैंने अब सवाल को अद्यतन किया है, और अधिक स्पष्टता के साथ मुद्दों पर ध्यान दिया है। कंटेनर मौजूद है, और मैं Azure एमएल से कंटेनर भी नहीं बना सकता। मुझे उम्मीद है कि मेरा अपडेट इसे स्पष्ट बनाता है। आपके काम के लिए फिर से धन्यवाद। मुझे एज़ूर पसंद है और मुझे पाइथन पसंद है। मैं वास्तव में अज़ूर पास और सास सेवाओं पर हमें पाइथन में सक्षम होना चाहता हूं! –