Dateien parallel herunterladen (Kommandozeile)

Oft hat man eine Liste von URLs, die man alle schnell herunterladen möchte. Blöd ist nur, wenn die Download-Geschwindigkeit niedrig ist. Klar, es gibt viele Windows-, Linux- und Mac-Tools wo man so eine Liste rein schmeißen kann und das Problem ist erledigt.

Aber es geht auch ohne, wenn man eine *nix-Shell zur Verfügung hat (bei Linux und MacOS sowieso dabei, für Windows gibt's GNU Utilities).

Angenommen man hat eine Datei "urls.txt" mit vielen vielen URLs. Dann startet folgende Zeile den Download und zwar in 10 parallelen Prozessen:

cat urls.txt | xargs -n 1 -P 10 wget

-n 1 zeigt, dass nur jeweils 1 Zeile als Parameter an wget übergeben werden soll
-P 10 legt die Anzahl der gleichzeitigen Downloads fest.

Beispiel: