wget: скачать полностью сайт

Автор: | 05/03/2013
 

terminalЧто бы полностью скачать сайт на свою машину – воспользуемся утилитой wget.

$ wget -r -k -l 7 -p -E -nc http://site.kiev.ua/

В результате в каталоге, в котором вы находились во время выполнения команды, появится каталог типа www.site.kiev.ua с содержимым сайта.

Процесс загрузки выглядит примерно так:

2013-03-05 20:44:20 (21,3 KB/s) – «www.site.kiev.ua/u_26_2_1.html» сохранен [6145/6145]

–2013-03-05 20:44:20–  http://www.site.kiev.ua/zam_doan2.jpg
Подключение к www.site.kiev.ua (www.site.kiev.ua)|213.186.113.5|:80… соединение установлено.
HTTP-запрос отправлен. Ожидание ответа… 200 OK
Длина: 31581 (31K) [image/jpeg]
Сохранение в каталог: ««www.site.kiev.ua/zam_doan2.jpg»».

100%[======================================================================================================================================================>] 31.581      –.-K/s   за 0,01s   

Используемые ключи:

-r — указывает на то, что нужно рекурсивно переходить по ссылкам на сайте, чтобы скачивать страницы;

-k — используется для того, чтобы wget преобразовал все ссылки в скаченных файлах таким образом, чтобы по ним можно было переходить на локальном компьютере (в автономном режиме);

-p — указывает на то, что нужно загрузить все файлы, которые требуются для отображения страниц (изображения, css и т.д.);

-l — определяет максимальную глубину вложенности страниц, которые wget должен скачать (по умолчанию значение равно 5, в примере мы установили 7). В большинстве случаев сайты имеют страницы с большой степенью вложенности и wget может просто «закопаться», скачивая новые страницы. Чтобы этого не произошло можно использовать ключ -l;

-E — добавлять к загруженным файлам расширение .html;

-nc — при использовании данного параметра существующие файлы не будут перезаписаны. Это удобно, когда нужно продолжить загрузку сайта, прерванную в предыдущий раз.