Bilgi Bankası

Web Sayfaları ve Dosyalarını İndirmek İçin Linux Komutu Nasıl Kullanılır

Web Sayfaları ve Dosyalarını İndirmek İçin Linux Komutu Nasıl Kullanılır

 

Wget yardımcı programı, web'den dosyaları, dosyaları ve görüntüleri Linux komut satırını kullanarak web'den indirmenize izin verir.

 

Bir siteden indirmek veya birden fazla sitede birden fazla dosya indirmek için bir giriş dosyası kurmak için tek bir wget komutunu kullanabilirsiniz.

 

Manuel sayfaya göre, kullanıcı sistemden çıkmış olsa bile wget kullanılabilir. Bunu yapmak için nohup komutunu kullanırsınız.

 

Wget yardımcı programı, bağlantı düştüğünde bile, bir bağlantıyı geri yükler, bağlantı döndüğünde mümkünse kaldığı yerden devam eder.

 

Tüm web sitelerini wget kullanarak indirebilir ve bağlantıları bir web sitesini çevrimdışı görüntüleyebilmek için yerel kaynaklara yönlendirebilirsiniz.

 

Wget'in özellikleri şöyledir:

 

HTTP, HTTPS ve FTP kullanarak dosyaları indirin

İndirilenleri devam ettir

İndirilen web sayfalarındaki mutlak bağlantıları göreli URL'lere dönüştürün, böylece web siteleri çevrimdışı görüntülenebilir

HTTP proxy'leri ve çerezleri destekler

Kalıcı HTTP bağlantılarını destekler

Oturum açmamış olsanız bile arka planda çalışabilir

Linux ve Windows üzerinde çalışır

Wget kullanarak bir web sitesi nasıl indirilir

Bu kılavuz için kişisel blogumu nasıl indireceğimi göstereceğim.

 

wget www.everydaylinuxuser.com

 

Makinenizde mkdir komutunu kullanarak kendi klasörünüzü oluşturmaya ve cd komutunu kullanarak klasöre taşınmaya değer.

 

Örneğin:

 

mkdir everydaylinuxuser

cd everydaylinuxuser

wget www.everydaylinuxuser.com

 

Sonuç tek bir index.html dosyasıdır. Tek başına, bu içerik, içerik Google'dan çekildiği ve görüntülerin ve stil sayfalarının hâlâ Google'da tutulduğu için oldukça kullanışsız.

 

Tüm siteyi ve tüm sayfaları indirmek için aşağıdaki komutu kullanabilirsiniz:

 

wget -r www.everydaylinuxuser.com

 

Bu, sayfaları art arda en fazla 5 seviyeye kadar indirir.

 

5 seviye derinlik, siteden her şeyi almak için yeterli olmayabilir. Aşağıdaki gibi gitmek istediğiniz seviye sayısını ayarlamak için -l anahtarını kullanabilirsiniz:

 

wget -r -l10 www.everydaylinuxuser.com

 

Sonsuz özyineleme istiyorsanız, aşağıdakileri kullanabilirsiniz:

 

wget -r -l inf www.everydaylinuxuser.com

 

Ayrıca, aynı şeyi ifade eden 0 ile de değiştirebilirsiniz.

 

Hala bir sorun daha var. Tüm sayfaları yerel olarak alabilirsiniz ancak sayfalardaki tüm bağlantılar hala orijinal yerlerine işaret eder. Bu nedenle sayfalardaki bağlantılar arasında yerel olarak tıklamak mümkün değildir.

 

Bu problemi, sayfalardaki tüm linkleri aşağıdaki şekilde yerel olarak indirilen eşdeğerini gösterecek şekilde çeviren -k anahtarını kullanarak alabilirsiniz:

 

wget -r -k www.everydaylinuxuser.com

 

Bir web sitesinin tam bir aynasını almak istiyorsanız, -r -k ve -l anahtarlarının kullanılmasının gerekliliğini ortadan kaldıran aşağıdaki anahtarı kullanabilirsiniz.

 

wget -m www.everydaylinuxuser.com

 

Bu nedenle kendi web siteniz varsa, bu basit komutu kullanarak tam bir yedekleme yapabilirsiniz.

 

Bir Arka Plan Komutu Olarak wget'i Çalıştır

Dosyaları indirirken terminal penceresindeki çalışmalarınıza devam edebileceğiniz bir arka plan komutu olarak çalıştırmak için wget alabilirsiniz.

 

Aşağıdaki komutu kullanmanız yeterlidir:

 

wget -b www.everydaylinuxuser.com

 

Elbette anahtarları birleştirebilirsiniz. Siteyi yansıtırken wget komutunu arka planda çalıştırmak için aşağıdaki komutu kullanırsınız:

 

wget -b -m www.everydaylinuxuser.com

 

Bunu aşağıdaki gibi daha da basitleştirebilirsiniz:

 

wget -bm www.everydaylinuxuser.com

 

Günlüğü

Wget komutunu arka planda çalıştırıyorsanız, ekrana gönderdiği normal mesajlardan hiçbirini görmezsiniz.

 

Kuyruk komutunu kullanarak herhangi bir zamanda ilerlemeyi kontrol edebilmeniz için tüm bu mesajları bir günlük dosyasına gönderebilirsiniz.

 

Wget komutundan bir günlük dosyasına bilgi çıktılamak için aşağıdaki komutu kullanın:

 

wget -o / yol / / mylogfile www.everydaylinuxuser.com

 

Tersi, elbette, hiç bir kayıt gerektirmemek ve ekrana herhangi bir çıkış gerektirmemek. Tüm çıkışı atlamak için aşağıdaki komutu kullanın:

 

wget -q www.everydaylinuxuser.com

 

Birden Çok Siteden İndirme

Birçok farklı siteden indirmek için bir giriş dosyası oluşturabilirsiniz.

 

Favori editörünüzü veya hatta kedi komutunu kullanarak bir dosyayı açın ve sadece dosyanın her satırından indirilecek siteleri veya bağlantıları listelemeye başlayın.

 

Dosyayı kaydedin ve ardından aşağıdaki wget komutunu çalıştırın:

 

wget -i / yol / için / inputfile

 

Kendi web sitenizi yedeklemekten veya trende okumak için indirebileceğiniz bir şey bulmanın yanı sıra, tüm bir web sitesini indirmek isteyeceksiniz.

 

Resimlerle tek bir URL indirmeniz veya muhtemelen zip dosyaları, ISO dosyaları veya resim dosyaları gibi dosyaları indirmeniz daha olasıdır.

 

Bunu akılda tutarak, zaman alıcı olduğundan aşağıdakileri giriş dosyasına yazmak zorunda kalmazsınız:

 

http://www.myfileserver.com/file1.zip

http://www.myfileserver.com/file2.zip

http://www.myfileserver.com/file3.zip

Temel URL'nin her zaman aynı olacağını biliyorsanız, giriş dosyasında aşağıdakileri belirtebilirsiniz:

 

file1.zip

file2.zip

file3.zip

Daha sonra, temel URL'yi wget komutunun bir parçası olarak aşağıdaki gibi sağlayabilirsiniz:

 

wget -B http://www.myfileserver.com -i / path / to / inputfile

 

Yeniden Deneme Seçenekleri

Bir girdi dosyasında indirilecek bir dosya kuyruğu oluşturduysanız ve bilgisayarınızı indirmek için tüm gece çalıştıran dosyaları indirdiyseniz, ilk dosyada sıkışıp kaldığını bulmak için sabah aşağı indiğinizde oldukça rahatsız edersiniz. bütün gece tekrar denedi.

 

Aşağıdaki anahtarı kullanarak yeniden deneme sayısını belirtebilirsiniz:

 

wget -t 10 -i / yol / için / inputfile

 

Yukarıdaki komutu saniyeler içinde aşağıdaki gibi bir zaman aşımı belirtmenize izin veren -T anahtarı ile birlikte kullanmak isteyebilirsiniz:

 

wget -t 10 -T 10 -i / yol / to / inputfile

 

Yukarıdaki komut 10 kez tekrar dener ve dosyadaki her bağlantı için 10 saniye boyunca bağlanmaya çalışır.

 

Ayrıca, bağlantınızın kesilmesi için yavaş bir geniş bant bağlantısında 4 gigabaytlık bir dosyanın% 75'ini kısmen indirdiğinizde de oldukça can sıkıcıdır.

 

Aşağıdaki komutu kullanarak indirmeyi durdurduğu yerden yeniden denemek için wget'i kullanabilirsiniz:

 

wget -c www.myfileserver.com/file1.zip

 

Bir sunucuyu çekiçliyorsanız, ana bilgisayar çok fazla beğenmeyebilir ve ya isteklerinizi engelleyebilir ya da engelleyebilir.

 

Her alma işlemi arasında ne kadar bekleyeceğinizi belirten bir bekleme süresi belirtebilirsiniz:

 

wget -w 60 -i / yol / için / inputfile

 

Yukarıdaki komut her indirme arasında 60 saniye bekleyecektir. Tek bir kaynaktan çok sayıda dosya indiriyorsanız bu yararlıdır.

 

Bazı web sunucuları sıklığı tespit edebilir ve yine de sizi engelleyebilir. Bir programı aşağıdaki gibi kullanmıyormuş gibi görünmesini sağlamak için bekleme süresini rastgele hale getirebilirsiniz:

 

wget --random-wait -i / yol / to / inputfile

 

İndirme Limitlerini Koruma

Birçok internet servis sağlayıcısı, özellikle bir şehir dışında yaşıyorsanız, geniş bant kullanımınız için indirme sınırlarını uygulamaktadır.

 

Bu indirme sınırını düşürmemek için bir kota eklemek isteyebilirsiniz. Bunu aşağıdaki şekilde yapabilirsiniz:

 

wget -q 100m -i / yol / to / inputfile

 

-q komutunun tek bir dosyayla çalışmadığını unutmayın.

 

Yani, 2 gigabayt boyutunda bir dosya indirirseniz, -q 1000m'yi kullanarak dosya indirme işlemini durdurmazsınız.

 

Kota, yalnızca bir sitedeki yinelenen bir dosya indirilirken veya bir giriş dosyası kullanılırken uygulanır.

 

Güvenlikten Geçmek

Bazı siteler indirmek istediğiniz içeriğe erişebilmek için giriş yapmanızı gerektirir.

 

Kullanıcı adını ve şifresini belirtmek için aşağıdaki anahtarları kullanabilirsiniz.

 

wget --user = adınız --password = şifreniz

 

Birisi ps komutunu çalıştırırsa çok kullanıcılı bir sistemle ilgili not, kullanıcı adınızı ve şifrenizi görebilir.

 

Diğer İndirme Seçenekleri

Varsayılan olarak -r anahtarı içeriği tekrar tekrar indirecek ve dizinleri olduğu gibi oluşturacaktır.

 

Aşağıdaki anahtarları kullanarak tüm dosyaları tek bir klasöre indirebilirsin:

 

Wget -nd -r

 

Bunun tersi, aşağıdaki komutla elde edilebilecek dizinlerin oluşturulmasını zorlamaktır:

 

Wget -x -r

 

Belirli Dosya Türlerini Nasıl Yüklerim

Bir siteden tekrarlı olarak indirmek istiyorsanız, ancak mp3 gibi belirli bir dosya türünü veya png gibi bir resmi indirmek istiyorsanız, aşağıdaki sözdizimini kullanabilirsiniz:

 

wget -A "* .mp3" -r

 

Bunun tersi, belirli dosyaları yok saymaktır. Belki de yürütülebilir dosyaları indirmek istemezsiniz. Bu durumda, aşağıdaki sözdizimini kullanırsınız:

 

wget -R "* .exe" -r

 

Cliget

Firefox eklentisi adında bir cliget var. Bunu Firefox'a aşağıdaki şekilde ekleyebilirsiniz.

 

Https://addons.mozilla.org/en-US/firefox/addon/cliget/ adresini ziyaret edin ve "Firefox'a ekle" düğmesini tıklayın.

 

Göründüğünde yükle düğmesini tıklayın. Firefox'u yeniden başlatmanız gerekecek.

 

Küfür kullanmak için indirmek ve sağ tıklatarak istediğiniz sayfayı veya dosyayı ziyaret edin. Bir içerik menüsü cliget olarak görünecek ve "wget'e kopyalamak" ve "kopyalamak için kopyala" seçenekleri olacak.

 

"Kopyaya kopyala" seçeneğini tıklayın ve bir terminal penceresi açın, ardından sağ tıklayıp yapıştırın. Uygun wget komutu pencereye yapıştırılacaktır.

 

Temel olarak, bu komutu kendiniz yazmak zorunda kalmanızı sağlar.