当前位置:首页 > 技术笔记 > 正文内容

火车头7.6版本无法采集部分https网站

2022-10-26 08:11技术笔记212

  火车头7.6版本不支持采集https协议的网站,采集网址的时候会提示:请求 默认页 当前页出现错误:未将对象引用设置到对象的实例。Void Proc(System.Net.HttpWebRequest)

  解决这个其实很简单,可以通过php进行抓取数据,代码如下:

<?php

/*
*火车头7.6版本采集https协议网站
*雅爱笔记 yaaibk.com 
*QQ 1334588325
*QQ群 953418367
*/

header("Content-Type:text/html;charset=UTF-8");
//error_reporting(0);
date_default_timezone_set('Asia/Shanghai'); 
$url=isset($_GET['url'])?$_GET['url']:'';
set_time_limit(60);
$data=get_web_page($url);
//preg_match("/<title>(.*)<\/title>/U",$data,$Set_3);//券id
//print_r($Set_3);
echo $data;

//打开网页
function get_web_page($url){
    $options = array(
        CURLOPT_RETURNTRANSFER => true,     //返回网页
        CURLOPT_HEADER         => false,    //不返回头信息
        CURLOPT_ENCODING       => "gzip,deflate",       //处理编码
        CURLOPT_SSL_VERIFYPEER => 0,     //验证对等证书
        CURLOPT_SSL_VERIFYHOST => 0,     //检查服务器SSL证书
        CURLOPT_USERAGENT      => "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.57 Safari/537.17 SE 2.X MetaSr 1.0", // 设置UserAgent
        CURLOPT_AUTOREFERER    => true,     //引用页重定向
        CURLOPT_CONNECTTIMEOUT => 120,      //连接超时
        CURLOPT_TIMEOUT        => 20,      //回复超时
        CURLOPT_MAXREDIRS      => 10,       //最多的HTTP重定向的数量
    );
    $ch = curl_init($url);
    curl_setopt_array($ch,$options);
    $content = curl_exec($ch);
    curl_close($ch);
    return $content;
}


?>

  把代码下载下来另存为yaai_https.php,把他放在网站根目,调用的时候url=你要采集的网址,如

http://****.com/yaai_https.php?url=https://5devip.com/post/268.html

  注意,你的网站不能是HTTPS


源码下载:

ssl.zip

版权声明:本站所发布信息部分整理自互联网具有公开性、共享性的信息,发布此信息旨在传播更多信息之目的,不代表本网站立场,转载请联系原作者并注明出处,如果侵犯了您的权益请与我们联系;本站提供的一切软件、教程和内容信息仅限用于学习和研究目的,不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负,您必须在下载后的24个小时之内,从您的电脑或手机中彻底删除上述内容;如果您喜欢该程序和内容,请支持正版,购买注册,得到更好的正版服务,我们非常重视版权问题,如有侵权请邮件与我们联系处理,我们将在24小时内更正、删除。

E-mail:fuwu#zhumengit.com(注意:# 换成 @)

“火车头7.6版本无法采集部分https网站” 的相关文章

TWCMS的SEO标题标签调用优化代码

  做SEO的朋友都有一个习惯,那就是用SEO标题,很多人不知道,其实TWCMS是支持的,只是很多人不知道,今天就给大家讲一下TWCMS标题SEO标签调用优化代码,网站title标签默认主题为<title>{$tw[titles]}</title>  如果我们单独设置了某些分...

网站响应头之PHP代码整理,方便随时复制学习

<?php //200 正常状态 header('HTTP/1.1 200 OK'); // 301 永久重定向,记得在后面要加重定向地址 Location:$url header('HTTP/1....

php脚本执行时间和内存设置

set_time_limit(0); // 脚本执行没有时间限 ini_set("memory_limit","-1"); //不限制内存...

TWCMS列表页面调用原始图片而不是缩略图片

{php} echo str_replace(array("_thumb"), "", "$big[pic]");{/php}...

TWCMS实现遍历所有频道及下面的分类

$cate_arrs = $run->category->find_fetch(); foreach($cate_arrs as $v){if($v['upid']==0){ $v['flist']=$run-&...

twcms网站支持手机端模板修改方法

twcms添加手机端模板/wap模板/mobile模板: 修改程序代码【实现PC端访问PC模板、手机端访问WAP模板】 详细方法:1、打开\twcms\model\runtime_model.class.php;2、在第66行之后添加如下代码://wap模板实时选择   &nb...