Как использовать команду Wget с примерами
Wget — это бесплатная утилита командной строки GNU, используемая для загрузки файлов из Интернета. Она извлекает файлы с использованием протоколов HTTP, HTTPS и FTP.
Если во время загрузки возникает проблема с сетью, это полезное программное обеспечение может возобновить получение файлов, не начиная с нуля.
Другим важным аспектом является возможность рекурсивной загрузки, с помощью которой она может копировать веб-сайты переходя по ссылкам и структуре каталогов и создавая локальные версии веб-страниц.
Команда wget очень гибкая и может использоваться в терминалах, скриптах и cron-задачах. Во время загрузки пользователю не обязательно быть активным или авторизованным. Поскольку wget может работать независимо в фоновом режиме.
Как проверить, установлен ли wget?
Скорее всего, пакет wget уже есть в вашей системе, так как сейчас он предустановлен в большинстве дистрибутивов Linux.
Чтобы проверить, откройте окно терминала и введите:
Если у вас установлен wget, вы увидите сообщение, что команде wget не хватает URL-адреса, как показано на изображении ниже:
Как установить wget на Ubuntu / Debian?
Чтобы установить wget в системах Ubuntu или Debian, используйте команду:
Как установить wget на CentOS / Fedora?
Чтобы установить wget на CentOS или Fedora, введите следующую команду:
Синтаксис wget
Синтаксис wget имеет следующий шаблон:
Каждая [option] имеет свою длинную и короткую форму, которые удобно заменять. Этот атрибут указывает, что делать со следующим URL-адресом.
[URL] — это адрес файла или каталога, который вы хотите загрузить.
Список основных команд wget
Примеры команд wget
Как скачать файл из Интернета
Чтобы загрузить файл из Интернета, используйте пример:
Как скачать файл и сохранить с другим названием
Как сохранить файл в конкретный каталог
По умолчанию wget загружает файл в каталог, в котором находится пользователь. Чтобы сохранить файл в другом месте, добавьте параметр –P :
Как установить скорость загрузки
Вы можете установить скорость загрузки при скачивании большого файла, чтобы он не использовал всю доступную пропускную способность. Скорость загрузки определяется в килобайтах (k) и мегабайтах (m). Используйте команду:
Как продолжить загрузку после прерывания
Вместо того, чтобы начинать с нуля, wget может возобновить загрузку с того места, где она была остановлена до прерывания. Это полезная функция, если при загрузке файла происходит потеря соединения.
Как скачать несколько файлов
Как загрузить зеркало веб-страницы
Как скачать через FTP
Чтобы загрузить через FTP, введите имя пользователя и пароль FTP-сервера, а затем ftp-адрес:
Как скачать в фоновом режиме
Вы можете использовать функцию загрузки в фоновом режиме при работе с большими файлами:
Как увеличить число попыток повтора
По умолчанию количество повторных попыток установлено на 20.
Вы также можете установить число на бесконечность со значениями 0 или inf, как в следующем примере:
Как пропустить проверку сертификата
По умолчанию wget проверяет, есть ли у сервера действительный сертификат SSL / TLS. Если он не идентифицирует подлинный сертификат, он отказывается от загрузки.
Как изменить User Agent
При загрузке веб-страницы wget по сути эмулирует браузер. В некоторых случаях в выводе может быть указано, что у вас нет разрешения на доступ к серверу или что соединение запрещено. Это может быть связано с тем, что веб-сайт блокирует клиентские браузеры с определенным «User-Agent».
«User-Agent» — это поле заголовка, которое браузер отправляет на сервер, к которому он хочет получить доступ. Поэтому для загрузки с сервера, который отказывается подключаться, попробуйте его изменить.
Найдите базу данных всех пользовательских агентов в сети, найдите тот, который вам нужен, и выполните команду:
Изучаем команду wget на 12 примерах
Все мы иногда качаем файлы из интернета. Если для этого использовать программы с графическим интерфейсом, то всё оказывается предельно просто. Однако, при работе в командной строке Linux дело несколько усложняется. Особенно — для тех, кто не знаком с подходящими инструментами. Один из таких инструментов — чрезвычайно мощная утилита wget, которая подходит для выполнения всех видов загрузок. Предлагаем вашему вниманию двенадцать примеров, разобрав которые, можно освоить основные возможности wget.
1. Загрузка одного файла
Если всё, что нужно — это загрузка одного файла, нам подойдёт следующая конструкция:
После ввода такой команды начнётся скачивание Nagios Core. В ходе этого процесса можно будет видеть данные о загрузке, например — сведения о том, какой объём данных уже загружен, текущую скорость, и то, сколько времени осталось до конца загрузки.
2. Загрузка файла и сохранение его с новым именем
3. Ограничение скорости загрузки файлов
Здесь задано ограничение скорости загрузки, равное 500 Кб/с.
4. Завершение прерванной загрузки
Если этот параметр не использовать, то загрузка недокачанного файла начнётся сначала.
5. Фоновая загрузка файла
6. Загрузка нескольких файлов
Выполнение этой команды приведёт к поочерёдной загрузке всех файлов из списка.
7. Увеличение общего числа попыток загрузки файла
8. Загрузка файлов с FTP-сервера
Команда загрузки файла с анонимного FTP-сервера с помощью wget выглядит так:
Если для доступа к файлу требуются имя пользователя и пароль, то команда примет такой вид:
9. Создание локальной копии веб-сайта
Обратите внимание на дополнительные параметры командной строки:
10. Загрузка с сайта только файлов определённого типа
11. Пропуск файлов определённого типа
Итоги
Wget — довольно простая в использовании, но весьма полезная утилита Linux. И, на самом деле то, о чём мы рассказали — лишь малая часть того, что она умеет. Надеемся, этот обзор поможет тем, кто не был знаком с wget, оценить эту программу, и, возможно, включить её в свой повседневный арсенал инструментов командной строки.
Уважаемые читатели! Пользуетесь ли вы инструментами командной строки Linux для загрузки файлов? Если да — просим о них рассказать.
Команда Wget в Linux с примерами
Wget Command in Linux with Examples
В этом руководстве мы покажем вам, как использовать команду Wget, на практических примерах и подробных объяснениях наиболее распространенных параметров Wget.
Установка Wget
Пакет wget уже предустановлен в большинстве дистрибутивов Linux.
Если wget не установлен, вы можете легко установить его с помощью менеджера пакетов вашего дистрибутива.
Установка Wget на Ubuntu и Debian
Установка Wget на CentOS и Fedora
Синтаксис команды Wget
Прежде чем перейти к использованию wget команды, давайте начнем с обзора основного синтаксиса.
В wget полезности выражение принимает следующий вид:
Как скачать файл с помощью Wget
В простейшей форме, когда используется без какой-либо опции, wget загрузит ресурс, указанный в [url], в текущий каталог.
В следующем примере мы загружаем tar-архив ядра Linux:
Как видно из рисунка выше, Wget начинает с разрешения IP-адреса домена, затем подключается к удаленному серверу и начинает передачу.
Использование команды Wget для сохранения загруженного файла под другим именем
Команда выше сохранит последнюю файл hugo zip из GitHub latest-hugo.zip вместо его исходного имени.
Использование команды Wget для загрузки файла в определенный каталог
С помощью приведенной выше команды мы сообщаем Wget сохранить ISO-файл CentOS 7 в /mnt/iso каталог.
Как ограничить скорость загрузки с помощью Wget
Следующая команда загрузит двоичный файл Go и ограничит скорость загрузки до 1 Мб:
Эта опция полезна, когда вы не хотите, чтобы wget использовал всю доступную пропускную способность.
Как возобновить загрузку с помощью Wget
В следующем примере мы возобновляем загрузку iso-файла Ubuntu 18.04:
Если удаленный сервер не поддерживает возобновление загрузки, Wget начнет загрузку с начала и перезапишет существующий файл.
Как скачать в фоновом режиме с Wget
По умолчанию выходные данные перенаправляются в wget-log файл в текущем каталоге. Чтобы посмотреть статус загрузки, используйте tail команду:
Как изменить Wget User-Agent от Wget
Приведенная выше команда будет эмулировать Firefox 60, запрашивающий страницу у wget-forbidden.com
Как скачать несколько файлов с помощью Wget
В следующем примере мы загружаем iso файлы Arch Linux, Debian и Fedora с URL-адресами, указанными в linux-distros.txt файле:
Использование команды Wget для загрузки через FTP
Чтобы загрузить файл с FTP-сервера, защищенного паролем, укажите имя пользователя и пароль, как показано ниже:
Использование команды Wget для создания зеркала сайта
Если вы хотите использовать загруженный веб-сайт для локального просмотра, вам нужно будет передать несколько дополнительных аргументов команде выше.
Как пропустить проверку сертификата с помощью Wget
Как скачать в стандартный вывод с помощью Wget
Вывод
С помощью Wget вы можете загружать несколько файлов, возобновлять частичную загрузку, зеркалировать веб-сайты и комбинировать параметры Wget в соответствии с вашими потребностями.
Команда wget Linux
Работая в консоли, нам достаточно часто приходится взаимодействовать с сетью, например скачивать файлы или целые интернет страницы. Если интернет страницы мы скачиваем довольно редко, то с файлами дело обстоит совсем по другому. Это могут быть различные скрипты, установочные пакеты, программы, ключи, списки пакетов и многое другое. Скачать файл в консоли Linux можно с помощью утилиты wget. Ее мы и рассмотрим в этой статье.
Кроме скачивания файлов, есть возможность сохранять веб страницы или даже целые веб-сайты, благодаря функции открытия ссылок на страницах. Такую возможность еще называют рекурсивной загрузкой. Это все мы и рассмотрим в сегодняшней статье, но начнем, как всегда, с синтаксиса и основных опций утилиты.
Синтаксис Wget
Команда wget linux имеет очень простой синтаксис:
$ wget опции аддресс_ссылки
Можно указать не один URL для загрузки, а сразу несколько. Опции указывать не обязательно, но в большинстве случаев они используются для настройки параметров загрузки.
Опции
А теперь давайте перейдем к списку опций. У wget слишком много опций, мы разберем только основные.
Кончено это не все ключи wget, но здесь и так слишком много теории, теперь давайте перейдем к практике. Примеры wget намного интереснее.
Использование wget Linux
Команда wget linux, обычно поставляется по умолчанию в большинстве дистрибутивов, но если нет, ее можно очень просто установить. Например установка с помощью yum будет выглядеть следующим образом:
А в дистрибутивах основанных на Debian:
sudo apt install wget
Теперь перейдем непосредственно к примерам:
1. Загрузка файла
Команда wget linux скачает один файл и сохранит его в текущей директории. Во время загрузки мы увидим прогресс, размер файла, дату его последнего изменения, а также скорость загрузки:
2. Сохранить файл с другим именем
3. Скачать несколько файлов
Вы можете скачать несколько файлов одной командой даже по разным протоколам, просто указав их URL:
wget http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz ftp://ftp.gnu.org/gnu/wget/wget-1.10.1.tar.gz.sig
4. Взять URL из файла
5. Продолжить загрузку
6. Загрузка файлов в фоне
7. Ограничение скорости загрузки
8. Подключение по логину и паролю
9. Загрузить и выполнить
Вы, наверное, уже видели такие команды. wget позволяет сразу же выполнять скачанные скрипты:
10. Сохранить файл в папке
11. Передать информацию о браузере
Некоторые сайты фильтруют ботов, но мы можем передать фальшивую информацию о нашем браузере (user-agent) и страницу с которой мы пришли (http-referer).
wget ‐‐refer=http://google.com ‐‐user-agent=”Mozilla/5.0 Firefox/4.0.1″ //losst.ru
12. Количество попыток загрузки
13. Квота загрузки
Если вам доступно только ограниченное количество трафика, вы можете указать утилите, какое количество информации можно скачивать, например разрешим скачать файлов из списка только на десять мегабайт:
14. Скачать сайт
Wget позволяет не только скачивать одиночные файлы, но и целые сайты, чтобы вы могли их потом просматривать в офлайне. Использование wget, чтобы скачать сайт в linux выглядит вот так:
Выводы
Вот и все, теперь использование wget не будет для вас таким непонятным. Если я упустил что-то важное о команде или у вас остались вопросы, спрашивайте в комментариях!
Команда Wget в Linux с примерами
GNU Wget — это утилита командной строки для загрузки файлов из Интернета. С Wget вы можете загружать файлы, используя протоколы HTTP, HTTPS и FTP. Wget предоставляет ряд параметров, позволяющих загружать несколько файлов, возобновлять загрузки, ограничивать пропускную способность, рекурсивные загрузки, загружать в фоновом режиме, зеркалировать веб-сайт и многое другое.
В этой статье показано, как использовать команду wget на практических примерах и подробных объяснениях наиболее распространенных параметров.
Установка Wget
Пакет wget предустановлен на сегодняшний день в большинстве дистрибутивов Linux.
Если wget не установлен, вы можете легко установить его с помощью диспетчера пакетов вашего дистрибутива.
Установка Wget в Ubuntu и Debian
Установка Wget на CentOS и Fedora
Синтаксис команды Wget
Выражения утилиты wget имеют следующую форму:
Как скачать файл с помощью wget
В простейшей форме, при использовании без какой-либо опции, wget загрузит ресурс, указанный в [url], в текущий каталог.
В следующем примере мы загружаем tar-архив ядра Linux:
Как вы можете видеть на изображении выше, wget начинает с разрешения IP-адреса домена, затем подключается к удаленному серверу и начинает передачу.
Сохранение загруженного файла под другим именем
Приведенная выше команда сохранит последний zip-файл hugo с GitHub как latest-hugo.zip вместо его исходного имени.
Загрузка файла в определенный каталог
Ограничение скорости загрузки
Следующая команда загрузит двоичный файл Go и ограничит скорость загрузки до 1 МБ:
Эта опция полезна, если вы не хотите, чтобы wget занимал всю доступную полосу пропускания.
Возобновление загрузки
В следующем примере мы возобновляем загрузку iso-файла Ubuntu 18.04:
Если удаленный сервер не поддерживает возобновление загрузки, wget начнет загрузку с самого начала и перезапишет существующий файл.
Загрузка в фоновом режиме
По умолчанию вывод перенаправляется в файл wget-log в текущем каталоге. Чтобы посмотреть статус загрузки, используйте команду tail :
Смена пользовательского агента Wget
Приведенная выше команда wget-forbidden.com Firefox 60, запрашивающий страницу с wget-forbidden.com
Загрузка нескольких файлов
В следующем примере показано, как загрузить iso-файлы Arch Linux, Debian и Fedora, используя URL-адреса, указанные в linux-distros.txt :
Скачивание через FTP
Чтобы загрузить файл с FTP-сервера, защищенного паролем, укажите имя пользователя и пароль, как показано ниже:
Создание зеркала веб-сайта
Если вы хотите использовать загруженный веб-сайт для локального просмотра, вам нужно будет передать несколько дополнительных аргументов команде выше.
Пропуск проверки сертификата
Загрузка на стандартный вывод
Выводы
С помощью wget вы можете загружать несколько файлов, возобновлять частичные загрузки, зеркалировать веб-сайты и комбинировать параметры Wget в соответствии с вашими потребностями.