Mastering Wget & Leren van een aantal aardige downloadtrucs

Soms is het niet genoeg om een ​​website lokaal vanuit uw browser op te slaan. Soms heb je een beetje meer kracht nodig. Hiervoor is er een nette kleine command line tool bekend als Wget. Wget is een eenvoudig programma dat bestanden van internet kan downloaden. Je weet al of niet veel over Wget, maar na het lezen van dit artikel ben je bereid om het te gebruiken voor allerlei trucjes.

Wget is beschikbaar voor native gebruik in UNIX- en Windows-opdrachtregel, maar het is mogelijk om wget te installeren op Mac OS X Hoe Wget voor uw Mac te krijgen Hoe Wget voor uw Mac te krijgen Macs zijn geweldig, met hun nette UI en een Unix terug -einde. Soms krijg je het gevoel dat je bijna alles met ze kunt doen. Totdat je op een dag iets eenvoudigs probeert te doen en je ... Lees meer met een beetje overhalen. Dus, als je eenmaal weet wat voor dingen je kunt gebruiken, is het draagbaar naar welk besturingssysteem je ook gebruikt - en dat is handig. Wat nog beter is, is dat wget kan worden gebruikt in batchbestanden en cron-taken. Dit is waar we de echte kracht achter Wget beginnen te zien.

Basic Wget

Het basisgebruik is wget URL.

 wget http://makeuseof.com/

De meest eenvoudige opties die de meeste mensen moeten weten, zijn achtergrond (wget -b), ga door met gedeeltelijke download (wget -c), aantal pogingen (wget -tries = NUMBER) en natuurlijk helpen (wget -h) om jezelf aan alle opties te herinneren.

wget -b -c --tries = NUMBER URL

Matig geavanceerde Wget-opties

Wget kan ook op de achtergrond worden uitgevoerd (wget -b), beperk de snelheid van de download (wget -limit-rate = SPEED), geen bovenliggend item om ervoor te zorgen dat u alleen een submap downloadt (wget -np), update alleen gewijzigde bestanden (wget -N), spiegelen een site (wget -m), zorg ervoor dat er geen nieuwe mappen worden aangemaakt (wget -nd), accepteer alleen bepaalde extensies (wget -accept = LIST) en stel een wachttijd in (wget -wait = SECONDS).

wget -b --limit-rate = SPEED -np -N -m -nd --accept = LIST - await = SECONDS URL

Downloaden met Wget recursief

Je kunt recursief downloaden (wget -r), bereik hosts naar andere domeinen (wget -H), converteer links naar lokale versies (wget -convert-links) en stel het niveau van recursies in (wget-level = NUMBER met inf of 0 voor oneindig).

Maar sommige sites willen u niet laten recursief downloaden en zullen controleren welke browser u gebruikt in een poging om de bot te blokkeren. Om dit te voorkomen, verklaart u een user agent zoals Mozilla (wget -user-agent = AGENT).

wget -r -H --convert-links --level = NUMBER --user-agent = AGENT URL

Met wachtwoord beschermde Wget

Het is mogelijk om de gebruikersnaam en het wachtwoord voor een bepaalde URL te declareren tijdens het gebruik van wget (wget -http-user = USER -http-password = PASS). Dit wordt niet aanbevolen op gedeelde machines, omdat iedereen die de processen bekijkt, het wachtwoord in platte tekst kan zien.

wget --http-user = USER --http-wachtwoord = PASS URL

Een voorbeeld hiervan is het gebruik van wget om een ​​back-up van uw taken te maken via Remember The Milk Beste back-uptips voor uw RememberThe Milk-taken Beste back-uptips voor uw RememberThe Milk-taken Voor velen van ons die in de cloud werken, we zijn gekomen om op onze favoriete diensten vrij zwaar te vertrouwen. We houden soms ook van hen en vertrouwen hen misschien een beetje meer dan we soms zouden moeten doen, ... Lees meer .

Wget-bulkdownload

Maak eerst een tekstbestand van alle URL's die u wilt downloaden met wget en noem het wget_downloads.txt. Voer vervolgens deze opdracht in om de URL's in bulk te downloaden:

wget -i wget_downloads.txt

Coole toepassingen voor Wget

Hiermee wordt een website gecrawld en wordt een logbestand met alle verbroken links gegenereerd:

wget --spider -o wget.log -e robots = off - wacht 1 -r -p http://www.mysite.com/

Dit zal een tekstbestand van je favoriete muziekblogs maken en alle nieuwe MP3-bestanden downloaden:

wget -r --level = 1 -H --timeout = 1 -nd -N -np --accept = mp3 -e robots = off -i musicblogs.txt

Waarvoor gebruik je wget nog meer?

Image Credit: Social Media Connection via ShutterStock, Young Man TV kijken via Shutterstock, Globe via Shutterstock

Ontdek meer over: Downloadbeheer, offline browsen.