pyparallelcurl. ממשק פשוט לביצוע משאבי כתובת האתר במקביל ללא חוטים
הורד עכשיו

pyparallelcurl. דירוג וסיכום

pyparallelcurl. תגים

- ספריית פייתון מביא אֶמְצָעִי משאבי URL

pyparallelcurl. תיאור

ממשק פשוט להביא משאבי כתובת האתר במקביל ללא חוטים PYPARALLELCURL הוא מודול Python המספק ממשק קל לשימוש כדי לאפשר לך להפעיל מספר רב של כתובת לכת URL במקביל Python, ללא Threads.To לבדוק אותו, עבור אל שורת הפקודה, תקליטור לתיקייה זו ולפעלה. .pythis צריך להפעיל 100 חיפושים באמצעות ממשק ה- API של Google, הדפסת התוצאות. כדי לראות איזה סוג של הבדל של הבדל הבקשה בקשות מקבילות מקבל אותך, נסה לשנות את ברירת המחדל של 10 בקשות הפועלות במקביל באמצעות טיעון סקריפט אופציונלי, ותזמון כמה זמן לוקח כל הזמן: זמן ./test.py 20the ראשית רק מאפשר לבקשה אחת לרוץ בבת אחת, בסידרה של השיחות. אני רואה את זה לוקח בערך 100 שניות. לרוץ השני יש 20 בטיסה בכל פעם, ולוקח 11 שניות! להזהיר אם כי, אפשר להציף את היעד שלך אם אתה אש יותר מדי בקשות בבת אחת. אתה עלול בסופו של דבר עם ה- IP שלך נאסר לגשת לשרת זה, או להכות UPI אחרים. המעמד נועד להקל על הפעלת בקשות תלתל מרובות במקביל, ולא להמתין כל אחד לסיים לפני תחילת הבא. מתחת למכסה המנוע הוא משתמש Curl_Multi_exec אבל מאז אני מוצא את זה ממשק מבלבל בכאב, רציתי אחד כי תואם את המשימות שרציתי לרוץ. כדי להשתמש בו, easy_install pycurl, ייבוא pyparallcurl, ולאחר מכן ליצור את האובייקט Parallecurl (10 Parallecurl) ) הטיעון הראשון לבנאי הוא המספר המרבי של תביעים יוצאי דופן כדי לאפשר לפני החסימה כדי לחכות אחד לסיים. באפשרותך לשנות את זה מאוחר יותר באמצעות SetMaxRequests () הארגומנט האופציונלי השני הוא מערך של אפשרויות סלסול בפורמט המשמש את curl_setopt_array () הבא, הפעלת אתר URL: Parallelcurl.startragest ('http://example.com', on_request_done ', on_request_done, {'FOCKEY': 'SIMVALE'}) הטענה הראשונה היא הכתובת שיש להביא את השנייה היא פונקציית ההתקשרות שתופיע ברגע שהבקשה היא השלישית היא "עוגיה", שיכולה להכיל נתונים שרירותיים להיות עבר אל השיחה SallCackThis StarTRequest יחזור מיד, כל עוד פחות מאשר המספר המרבי של בקשות הם יוצאי דופן. לאחר ביצוע הבקשה, פונקציית ההתקשרות תיקרא, לדוגמה: ON_REQUEST_DONE (תוכן, 'http://example.com', ch, {'flatkey': 'somevalue'}) Callback צריך לקחת ארבעה טיעונים. הראשון הוא מחרוזת המכילה את התוכן שנמצא בכתובת האתר. השני הוא כתובת האתר המקורית המבוקשת, השלישי הוא ידית התלתלת של הבקשה שניתן לשאלה כדי לקבל את התוצאות, והרביעית היא הערך 'עוגיות' שרירותי 'שתקשה לאובייקט זה. קובץ Cookie זה מכיל נתונים מוגדרים למשתמש. עדיין ייתכן שיש לך בקשות מצטיינים בסוף הסקריפט שלך, עליך callparallelcurl.finishallrequests () לפני שאתה יוצא. אם לא, הבקשות הסופיות עשויות להיות לא מעובדות! זה למעשה נקרא גם ההרס של הכיתה, אבל זה בהחלט בפועל הטוב ביותר לקרוא את זה במקור. דרישות: · פייתון

pyparallelcurl. תוכנה קשורה