Stavať Plánovač na stiahnutie s malou programovacími schopnosťami

Všetci radi sťahujeme veci z internetu a sú tu hromady veľkých nástrojov pre správcov na stiahnutie, ktoré môžeme použiť na naplánovanie našich sťahovaní. Možno by bolo jednoduchšie používať správcu sťahovania, ale nie je žiadna škoda pri skúmaní nástrojov, ktoré už prichádzajú s našim Ubuntu, a jeho plnom využití.

V tomto článku vám ukážeme zabudovaný softvér v Ubuntu, ktorý môžeme použiť na sťahovanie materiálov z internetu wget. Okrem toho vám ukážeme, ako naplánovať sťahovanie pomocou programu Cron.

Stiahnutie pomocou Wget

Wget je bezplatný softvérový balík na načítanie súborov pomocou HTTP, HTTPS a FTP, najrozšírenejších internetových protokolov. Je to neinteraktívny nástroj príkazového riadku, takže ho možno jednoducho nazývajú skripty, úlohy cron, terminály bez podpory X-Windows atď..

Otvorte svoj terminál a skúmme, ako môžeme použiť wget na sťahovanie materiálov z siete. Základná syntax sťahovania s wgetom je nasledovná:

wget [voľba] ... [URL] ...

Tento príkaz si stiahne príručku wget do vašej lokálnej jednotky

wget http://www.gnu.org/software/wget/manual/wget.pdf

Linux Cron

Ubuntu prichádza s dronom cron, ktorý sa používa na naplánovanie úloh, ktoré sa majú vykonať v určitej dobe. Crontab umožňuje určiť akcie a časy, ktoré by mali byť vykonané. Takto by ste mali bežne naplánovať úlohu pomocou nástroja príkazového riadku.

Otvorte okno terminálu a zadajte crontab -e.

Každá sekcia v crontab je oddelená medzerou, pričom posledná časť má jeden alebo viac medzery v nej. Položka cron sa skladá z minúty (0-59), hodiny (0-23, 0 = polnoc), deň (1-31), mesiac (1-12), deň v týždni (0-6, 0 = nedeľa). Tretia položka vo vyššie uvedenom crontab sťahuje wget.pdf o 2:00 hod. Prvý záznam (0) a druhý záznam (2) znamená 2:00. Tretí až piaty záznam (*) znamená akýkoľvek čas v priebehu dňa, mesiac alebo týždeň. Posledným záznamom je príkaz wget na stiahnutie súboru wget.pdf z určenej adresy URL.

To je základom pre Wget a ako funguje Cron. Poďme si vziať kořisti v reálnom príklade, ako naplánovať sťahovanie.

Plánovanie sťahovania

Budeme preberať Firefox 3.6 v 2:00. Pretože náš ISP dáva len obmedzené množstvo dát, musíme zastaviť sťahovanie o 8:00. Toto nastavenie vyzerá.

Ignorovať prvé 2 položky vo vyššie uvedenom crontab. Tretí a štvrtý príkaz sú iba 2 príkazy, ktoré potrebujete. Tretí príkaz nastaví úlohu, ktorá bude sťahovať Firefox v 2:00:

[Kód]
0 2 * * * wget -c http://download.mozilla.org/?product=firefox-3.6.6&os=win&lang=sk
[/ Code]

Voľby -c označujú, že wget by mal obnoviť existujúci súbor na prevzatie, ak nebol dokončený.

Štvrtý príkaz zastaví Wget o 8:00. 'Killall' je príkaz unix, ktorý zabíja procesy podľa mena.

[Kód]
0 8 * * * killall wget
[/ Code]

Killall wget povie Ubuntu, aby zastavil wget zo sťahovania súboru o 8:00.

Ďalšie užitočné príkazy wget

1. Zadanie adresára na stiahnutie súboru

[Kód]
wget -output-document = / home / zainul / Na stiahnutie / wget manual.pdf http://www.gnu.org/software/wget/manual/wget.pdf
[/ Code]

voľba -output-document umožňuje určiť adresár a názov súboru, ktorý si stiahnete

2. Sťahovanie webových stránok

wget je tiež schopný stiahnuť webové stránky.

[Kód]
wget -m http://www.google.com/profiles/zainul.franciscus
[/ Code]

Tento príkaz si stiahne celú webovú stránku profilu Google. Možnosť '-m' hovorí, že wget stiahne zrkadlový obrázok určenej adresy URL.

Ďalšou dôležitou možnosťou je povedať, wget koľko odkazov by malo nasledovať pri preberaní webových stránok.

[Kód]
wget -r -l1 http://www.google.com/profiles/zainul.franciscus
[/ Code]

Vyššie uvedený príkaz wget používa dve možnosti. Prvá možnosť '-r' informuje spoločnosť Wget, že rekurzívne prevezme zadaný web. Druhá možnosť "-l1" hovorí spoločnosti wget, že získa iba prvú úroveň odkazov z uvedenej webovej lokality. Môžeme nastaviť tri úrovne "-l2" a "-l3".

3. Ignorovanie vstupu robota

Správca webu udržiava textový súbor s názvom Robot.txt. Súbor "Robot.txt" udržuje zoznam webových adries, ktoré by indexový prehľadávač webových stránok, ako napríklad wget, nemal indexovo prehľadávať. Môžeme povedať, že wget ignoruje možnosť 'Robot.txt' s možnosťou '-erobots = off'. Nasledujúci príkaz informuje wget, že stiahne prvú stránku môjho google profilu a ignoruje súbor Robot.txt.

[Kód]
wget -erobots = vypnuté http://www.google.com/profiles/zainul.franciscus
[/ Code]

Ďalšou užitočnou možnosťou je -U. Táto voľba maskuje wget ako prehliadač. Majte na pamäti, že maskovanie aplikácie ako inej aplikácie môže porušovať termín a službu poskytovateľa webových služieb.

[Kód]
wget -erobots = off -U Mozilla http://www.google.com/profiles/zainul.franciscus
[/ Code]

záver

Wget je veľmi stará škola, ktorá je však súčasťou softvérového balíčka GNU, ktorý môžeme použiť na sťahovanie súborov. Wget je interaktívny nástroj príkazového riadku, čo znamená, že ho môžeme nechať bežať na našom počítači na pozadí bez toho, aby sme museli spustiť žiadnu aplikáciu. Pozrite sa na stránku manga wget

[Kód]
$ man wget
[/ Code]

aby sme pochopili ďalšie možnosti, ktoré môžeme použiť s wget.

odkazy

Wget Manual
Ako skombinovať dva stiahnuté súbory, keď wget prestane na polceste
Linux QuickTip: Stahovanie a un-tarring v jednom kroku