Alle Bilder einer Webseite herunterladen

Posted by admin under Browsen, Firefox

Ich würde gerne eine Methode vorstellen wie man alle Bilder, und auch andere Dateien wie Videos, von einer Webseite herunterladen kann sofern diese sequentiell angeordnet sind. Smugmug verwendet zum Beispiel diese Methode um Bilder zu speichern. Alle Bilder sind im Verzeichnis /photos/ auf der Webseite zu finden und auch von außen ansprechbar. Das Format der Bilder ist ebenfalls nicht zufällig gewählt sondern in der Form Nummer-M.jpg vorhanden wobei Nummer eine positive Zahl darstellt.

Mit der Firefox Erweiterung Batch Download kann man sehr einfach alle Bilder von Seiten wie Smugmug herunterladen. Der CEO von Smugmug bestätigte erst kürzlich, dass auch Private Bilder über die direkte Eingabe der URL einsehbar sein sollten. Finde ich persönlich etwas merkwürdig.

Nachdem die Batch Download Erweiterung installiert ist kann man sie entweder über einen Rechtsklick und dem Linksklick auf Batch Download aktivieren oder aber über die Optionen des Add-on Menüs.

Im sich darauf öffnenden Menü gibt man als Base URL die URL zu den Daten an und verwendet für den sich verändernden Teil der URL eine Wildcard. Bei Smugmug liegen die Fotos alle in http://www.smugmug.com/photos/(*)-M.jpg wobei * eine Zahl darstellt. Unten wird diese Wildcard dann definiert. Da bei den Bildern nur Nummern eingesetzt worden sind bestimmen wir einen Anfangs- und einen Endwert, zum Beispiel von 1 bis 10000 was die Bilder von 1-M.jpg bis 10000-M.jpg herunterladen würde.

Existiert ein Bild nicht wird es übersprungen. Sollte ein Bild gefunden werden wird es automatisch im Verzeichnis welches unter Download Folder bestimmt worden ist gespeichert.

Die Nummern die man wählt sind beliebig. Man kann auch bei 10000 starten und bei 96000 aufhören. Je mehr die Zahlen auseinander liegen desto länger dauert das herunterladen natürlich.

Nicht jede Webseite bietet die Bilder so offen dar. Viele verwenden Sicherheitsmechanismen wie Referrer Checks um zu verhindern, dass eben solche Programme die Bilder einfach herunterladen können.