请求头
获取网页源码时,使用的是 Guzzle,默认发送的请求头会包含 User-Agent,值为:
Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36
如果要覆盖全局设置,可以在该网站爬虫配置填写以覆盖。如:
<?php
return [
    'userAgent' => 'spider',
];
获取网页源码时,使用的是 Guzzle,默认发送的请求头会包含 User-Agent,值为:
Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36
如果要覆盖全局设置,可以在该网站爬虫配置填写以覆盖。如:
<?php
return [
    'userAgent' => 'spider',
];