לגבות אתר עם wget

בעקבות שערוריית היעלמות במה חדשה מהרשת, נותרו הרבה משתמשים קבועים מחוסרי יכולת גישה ליצירות שהם העלו לאתר. חנן פרסם בבלוג שלו המלצה לתוכנה HTTrack Website Copier, ואני מעוניין לתת המלצה לתוכנה דומה, חופשית גם היא, שתאפשר העתקת אתר לקבצים מקומיים ביתר קלות ובמהירות.

התקנה

לינוקס

משתמשי לינוקס יגלו כנראה כי התוכנה כבר מותקנת במחשבם. ניתן לבדוק זאת על־ידי הפקודה whereis.

$ whereis wget
wget: /usr/bin/wget /usr/X11R6/bin/wget /usr/bin/X11/wget /usr/share/man/man1/wget.1.gz

אם לא מתקבלת תשובה מספקת, ניתן תמיד לבקש ממנהל החבילות שיוריד ויתקין את התוכנה באמצעות אחת מהפקודות הבאות, בהתאם להפצה שבשימוש. יש להריץ עם su או sudo כי אין לכם הרשאות root.

apt-get install wget
yum install wget
urpmi wget

ווינדוס

משתמשי ווינדוס, לצערי כנראה ולא תמצאו את התוכנה מותקנת במחשבכם, וגם ההתקנה מסובכת יותר. ניתן להוריד את התוכנה מכאן.

שימוש בסיסי

בניגוד ל־HTTrack, התוכנה wget מיועדת לרוץ רק משורת הפקודה, וכוללת הרבה פחות אפשרויות מתוחכמות. כדי להוריד קובץ, כל מה שצריך לעשות הוא לציין את הקובץ אותו אנו מעוניינים להוריד, והקובץ יורד לתיקייה ממנה הורצה התוכנה.

$ wget http://webster.co.il/permalink.gif
הדוגמה להעיל תוריד קובץ תמונה בודד מהשרת של חנן.

$ wget ftp://username:password@example.net/users/xyzzy/mysql_backup.tgz
משיכה של קובץ משרת FTP פרטי החסום בשם משתמש וסיסמה.

שאיבת אתרים

wget יכולה להוריד אתרים שלמים במהירות נמוכה יותר מאשר HTTrack, מאחר ואיננה כוללת יכולות להורדת מספר קבצים במקביל, אך חשוב לזכור כי תכונה זו תקל במקצת על האתר, שלא ידרש לספק דפים רבים באותו הזמן.

כדי להוריד דפים רבים מהאתר, נציין לתוכנה את נתיב ההתחלה, ונכניס את הפרמטרים ‎-r להורדה רקורסיבית של דפים מקושרים, ו־‎-np כדי למנוע הורדה של דפים מעל התיקייה הנוכחית.
$ wget -r -np http://mozilla.org.il/firefox/
פקודה זו תגרום ליצירת עותק מקומי של הקבצים שהורדו כעץ תיקיות המייצג את הנתיב של הקבצים.

לסיכום, להורדת אתרים שלמים אני ממליץ להשתמש ב־HTTrack או ב־wget. שתיהן חופשיות ומבוססות קוד פתוח, אך בזכות הצניעות של wget היא מתאימה יותר לפרוייקטים קטנים, חוסכת את זמן הגדרת הפרוייקט ב־GUI של HTTrack (יצויין כי גם HTTrack יכול לרוץ משורת הפקודה), ובכך לדעתי נוחה יותר לשילוב בגיבויים מתוזמנים.

אם יש לכם גישה לשרת שלכם, אמליץ כי תשתמשו בכלי גיבוי ברמת בסיסי הנתונים עליו ותורידו את הקבצים לשמירה מקומית אצלכם במחשב, ואת זה אפרט ואסביר במועד אחר במידה ויהיה לכך ביקוש.

השאר תגובה