10 个 wget 命令示例,帮助您进行故障排除 – wget 测试

sysadmin 经常使用的实用程序之一是 wget。 在与 Web 相关的故障排除期间,它非常方便。

什么是 wget 命令?

wget 命令是一种流行的 Unix/Linux 命令行实用程序,用于从 Web 获取内容。 它是免费使用的,并提供了一种从 Web 下载文件的非交互式方式。 wget 命令开箱即用地支持 HTTPS、HTTP 和 FTP 协议。 此外,您还可以使用 HTTP 代理。

wget 如何帮助您排除故障?

有很多方法。

作为系统管理员,大多数时候,您将在终端上工作,并且在解决与 Web 应用程序相关的问题时,您可能不想检查整个页面,而只想检查连接性。 或者,您想要验证 Intranet 网站。 或者,您想下载某个页面以验证内容。

wget 是非交互式的,这意味着即使您已注销也可以在后台运行它。 在许多情况下,即使从 Web 进行文件检索,您也必须断开与系统的连接。 在后台,wget 将运行并完成他们分配的工作。

它还可用于在本地计算机上获取整个网站。 它可以跟随 XHTML 和 HTML 页面中的链接来创建本地版本。 为此,它必须递归下载页面。 这非常有用,因为您可以使用它下载重要的页面或站点以供离线查看。

让我们看看他们的行动。 wget 的语法如下。

wget [option] [URL]

下载网页

让我们尝试下载一个页面。 例如:github.com

wget github.com

如果连接正常,那么它将下载主页并显示如下输出。

[email protected]:~# wget github.com
URL transformed to HTTPS due to an HSTS policy
--2020-02-23 10:45:52--  https://github.com/
Resolving github.com (github.com)... 140.82.118.3
Connecting to github.com (github.com)|140.82.118.3|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: ‘index.html’

index.html                                       [ <=>                                                                                        ] 131.96K  --.-KB/s    in 0.04s   

2020-02-23 10:45:52 (2.89 MB/s) - ‘index.html’ saved [135126]

[email protected]:~#

下载多个文件

当您必须一次下载多个文件时很方便。 这可以让您了解通过一些脚本自动下载文件。

让我们尝试下载 Python 3.8.1 和 3.5.1 文件。

wget https://www.python.org/ftp/python/3.8.1/Python-3.8.1.tgz https://www.python.org/ftp/python/3.5.1/Python-3.5.1.tgz

所以,你可以猜到,语法如下。

wget URL1 URL2 URL3

您只需要确保在 URL 之间留出空间。

  今天使用的 8 种最佳音乐智能链接服务

限制下载速度

当您想检查以不同带宽下载文件需要多长时间时,这将很有用。

使用 –limit-rate 选项,您可以限制下载速度。

这是下载 Nodejs 文件的输出。

[email protected]:~# wget https://nodejs.org/dist/v12.16.1/node-v12.16.1-linux-x64.tar.xz
--2020-02-23 10:59:58--  https://nodejs.org/dist/v12.16.1/node-v12.16.1-linux-x64.tar.xz
Resolving nodejs.org (nodejs.org)... 104.20.23.46, 104.20.22.46, 2606:4700:10::6814:162e, ...
Connecting to nodejs.org (nodejs.org)|104.20.23.46|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 14591852 (14M) [application/x-xz]
Saving to: ‘node-v12.16.1-linux-x64.tar.xz’

node-v12.16.1-linux-x64.tar.xz               100%[===========================================================================================>]  13.92M  --.-KB/s    in 0.05s   

2020-02-23 10:59:58 (272 MB/s) - ‘node-v12.16.1-linux-x64.tar.xz’ saved [14591852/14591852]

下载 13.92 MB 文件需要 0.05 秒。 现在,让我们尝试将速度限制为 500K。

[email protected]:~# wget --limit-rate=500k https://nodejs.org/dist/v12.16.1/node-v12.16.1-linux-x64.tar.xz
--2020-02-23 11:00:18--  https://nodejs.org/dist/v12.16.1/node-v12.16.1-linux-x64.tar.xz
Resolving nodejs.org (nodejs.org)... 104.20.23.46, 104.20.22.46, 2606:4700:10::6814:162e, ...
Connecting to nodejs.org (nodejs.org)|104.20.23.46|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 14591852 (14M) [application/x-xz]
Saving to: ‘node-v12.16.1-linux-x64.tar.xz.1’

node-v12.16.1-linux-x64.tar.xz.1             100%[===========================================================================================>]  13.92M   501KB/s    in 28s     

2020-02-23 11:00:46 (500 KB/s) - ‘node-v12.16.1-linux-x64.tar.xz.1’ saved [14591852/14591852]

减少带宽需要更长的下载时间——28 秒。 想象一下,您的用户抱怨下载速度慢,而您知道他们的网络带宽很低。 您可以快速尝试 –limit-rate 来模拟问题。

在后台下载

下载大文件可能需要时间或上面的示例,您也想设置速率限制。 这是意料之中的,但是如果您不想盯着终端怎么办?

好吧,您可以使用 -b 参数在后台启动 wget。

[email protected]:~# wget -b https://slack.com
Continuing in background, pid 25430.
Output will be written to ‘wget-log.1’.
[email protected]:~#

忽略证书错误

当您需要检查没有正确证书的 Intranet Web 应用程序时,这很方便。 默认情况下,当证书无效时,wget 会抛出错误。

[email protected]:~# wget https://expired.badssl.com/
--2020-02-23 11:24:59--  https://expired.badssl.com/
Resolving expired.badssl.com (expired.badssl.com)... 104.154.89.105
Connecting to expired.badssl.com (expired.badssl.com)|104.154.89.105|:443... connected.
ERROR: cannot verify expired.badssl.com's certificate, issued by ‘CN=COMODO RSA Domain Validation Secure Server CA,O=COMODO CA Limited,L=Salford,ST=Greater Manchester,C=GB’:
  Issued certificate has expired.
To connect to expired.badssl.com insecurely, use `--no-check-certificate'.

上面的示例适用于证书过期的 URL。 如您所见,它建议使用 –no-check-certificate 将忽略任何证书验证。

[email protected]:~# wget https://untrusted-root.badssl.com/ --no-check-certificate
--2020-02-23 11:33:45--  https://untrusted-root.badssl.com/
Resolving untrusted-root.badssl.com (untrusted-root.badssl.com)... 104.154.89.105
Connecting to untrusted-root.badssl.com (untrusted-root.badssl.com)|104.154.89.105|:443... connected.
WARNING: cannot verify untrusted-root.badssl.com's certificate, issued by ‘CN=BadSSL Untrusted Root Certificate Authority,O=BadSSL,L=San Francisco,ST=California,C=US’:
  Self-signed certificate encountered.
HTTP request sent, awaiting response... 200 OK
Length: 600 [text/html]
Saving to: ‘index.html.6’

index.html.6                                 100%[===========================================================================================>]     600  --.-KB/s    in 0s      

2020-02-23 11:33:45 (122 MB/s) - ‘index.html.6’ saved [600/600]

[email protected]:~#

酷,不是吗?

  7 种最佳 Project Zomboid 服务器托管以获得更好的游戏体验

在终端上查看给定站点的 HTTP 响应标头。

使用 -S 将打印标题,如下面的 Coursera 所示。

[email protected]:~# wget https://www.coursera.org -S
--2020-02-23 11:47:01--  https://www.coursera.org/
Resolving www.coursera.org (www.coursera.org)... 13.224.241.48, 13.224.241.124, 13.224.241.82, ...
Connecting to www.coursera.org (www.coursera.org)|13.224.241.48|:443... connected.
HTTP request sent, awaiting response... 
  HTTP/1.1 200 OK
  Content-Type: text/html
  Content-Length: 511551
  Connection: keep-alive
  Cache-Control: private, no-cache, no-store, must-revalidate, max-age=0
  Date: Sun, 23 Feb 2020 11:47:01 GMT
  etag: W/"7156d-WcZHnHFl4b4aDOL4ZSrXP0iBX3o"
  Server: envoy
  Set-Cookie: CSRF3-Token=1583322421.s1b4QL6OXSUGHnRI; Max-Age=864000; Expires=Wed, 04 Mar 2020 11:47:02 GMT; Path=/; Domain=.coursera.org
  Set-Cookie: __204u=9205355775-1582458421174; Max-Age=31536000; Expires=Mon, 22 Feb 2021 11:47:02 GMT; Path=/; Domain=.coursera.org
  Strict-Transport-Security: max-age=31536000; includeSubDomains; preload
  X-Content-Type-Options: nosniff
  x-coursera-render-mode: html
  x-coursera-render-version: v2
  X-Coursera-Request-Id: NCnPPlYyEeqfcxIHPk5Gqw
  X-Coursera-Trace-Id-Hex: a5ef7028d77ae8f8
  x-envoy-upstream-service-time: 1090
  X-Frame-Options: SAMEORIGIN
  x-powered-by: Express
  X-XSS-Protection: 1; mode=block
  X-Cache: Miss from cloudfront
  Via: 1.1 884d101a3faeefd4fb32a5d2a8a076b7.cloudfront.net (CloudFront)
  X-Amz-Cf-Pop: LHR62-C3
  X-Amz-Cf-Id: vqvX6ZUQgtZAde62t7qjafIAqHXQ8BLAv8UhkPHwyTMpvH617yeIbQ==
Length: 511551 (500K) [text/html]

操纵用户代理

可能存在您想使用自定义用户代理连接站点的情况。 或特定浏览器的用户代理。 这可以通过指定 –user-agent 来实现。 以下示例适用于 MyCustomUserAgent 用户代理。

[email protected]:~# wget https://gf.dev --user-agent="MyCustomUserAgent"

当应用程序仍在开发中时,您可能没有正确的 URL 来测试它。 或者,您可能想使用 IP 测试单个 HTTP 实例,但您需要提供主机标头以使应用程序正常工作。 在这种情况下,–header 会很有用。

  如何从 Apple ID 中删除信用卡

我们以测试 http://10.10.10.1 为例,主机头为 application.com

wget --header="Host: application.com" http://10.10.10.1

不仅是主机,而且您可以注入任何您喜欢的标头。

使用代理连接

如果您在 DMZ 环境中工作,您可能无法访问 Internet 站点。 但是您可以利用代理进行连接。

wget -e use_proxy=yes http_proxy=$PROXYHOST:PORT http://externalsite.com

不要忘记用实际的更新 $PROXYHOST:PORT 变量。

使用特定的 TLS 协议进行连接

通常,我会推荐使用 OpenSSL 来测试 TLS 协议。 但是,您也可以使用 wget。

wget –secure-protocol=TLSv1_2 https://example.com

以上将强制 wget 通过 TLS 1.2 进行连接。

结论

了解必要的命令可以帮助您工作。 我希望以上内容能让您了解使用 wget 可以做什么。