• 全都有综合资源网

    分享赚钱

    一个专业的免费资源网

    每天更新100+优质资源

  • 手机版二维码

    随时手机查素材

  • 扫描二维码

    加入官方微信群

使用 cURL 的网页抓取源码 POST、 Cookies、代理和自定义头文件

技术文章 每日更新
2024-6-27 14:29 76人浏览 0人回复
原作者: 全都有综合资源网 来自: 全都有综合资源网 收藏 分享 邀请
摘要

code?php/***名称:cURL网页抓取**///使用方法:$_Url="http://www.baidu.com";$_Data="u=adminp=123456";$_Cookies="0a63b_lastvisit=176%091359981539%09%2Flogin.php;0a63b_winduser=BlEOUFpoCgUAAgAHWlVSDQZUCgM ...

 
layui-box layui-code-view" style="margin-top: 10px; margin-bottom: 10px; padding: 0px; -webkit-tap-highlight-color: rgba(0, 0, 0, 0); white-space: pre-wrap; overflow-wrap: break-word; box-sizing: content-box; position: relative; font-size: 12px; border-width: 1px 1px 1px 6px; border-style: solid; border-color: rgb(226, 226, 226); border-image: initial; background-color: rgb(242, 242, 242); color: rgb(51, 51, 51); font-family: "Courier New";">

code

  1. <?php
  2. /**
  3. * 称号:cURL网页抓取
  4. *
  5. */
  6. //利用方式:
  7. $_Url = "http://www.baidu.com";
  8. $_Data = "u=admin&p=123456";
  9. $_Cookies = "0a63b_lastvisit=176%091359981539%09%2Flogin.php; 0a63b_winduser=BlEOUFpoCgUAAgAHWlVSDQZUCgMOUQcABwgAClFXUQFfCABTVlow; 0a63b_ck_info=%2F%09; 0a63b_lastvisit=deleted";
  10. $Proxy = array("Proxy" => "124.160.133.2:80", "UserNmae" => "Root", "PassWord" => "Root");
  11. $Head = array("User-Agent: Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)", "Accept-Language: en-us");
  12. // 地址 拜候方式 Post数据
  13. $_Str = Get_Web_Contents($_Url, "GET", $_Data, $_Cookies, $Proxy, 30, $Head);
  14. print_r($_Str);
  15. */
  16. function Get_Web_Contents($_Get_Url, $_Method = "GET", $_Form_Data = "", $_Cookie = "", $_Proxy = array("Proxy" => ""), $_Time_Out = 30, $_Headers = array()){
  17. $ch = curl_init(); //建立cURL工具
  18. curl_setopt($ch, CURLOPT_URL, $_Get_Url); //设备读取URL
  19. curl_setopt($ch, CURLOPT_HEADER, 1); //能否输出头信息,0为不输出,非零则输出
  20. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //设备输出方式, 0为自动输出返回的内容, 1为返回输出的内容,但不自动输出.
  21. curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $_Time_Out); // 设备超时 30秒
  22. curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
  23. curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
  24. // 设备代理
  25. if(isset($_Proxy["Proxy"])){
  26. curl_setopt($ch, CURLOPT_PROXY, $_Proxy["Proxy"]); //设备代理地址
  27. if(isset($_Proxy["UserNmae"]) and isset($_Proxy["PassWord"])){
  28. curl_setopt($ch, CURLOPT_PROXYUSERPWD, $_Proxy["UserNmae"].":".$_Proxy["PassWord"]); // 设备代理用户名与密码
  29. }
  30. }
  31. // 设备 POST 数据
  32. if(strtoupper($_Method) == "POST"){
  33. curl_setopt($ch, CURLOPT_POST, 1); //设备为 POST 提交
  34. curl_setopt($ch, CURLOPT_POSTFIELDS, $_Form_Data); //设备POST数据
  35. }
  36. // 设备 Cookies 数据
  37. if(strlen($_Cookie)){
  38. curl_setopt($ch, CURLOPT_COOKIE, $_Cookie); // 设备 Cookies
  39. }
  40. // 设备附加协议头
  41. if(isset($_Headers)){
  42. //设备 User-Agent
  43. if(isset($_Headers['User-Agent'])){
  44. curl_setopt($ch, CURLOPT_USERAGENT, $_Headers['User-Agent']);
  45. }
  46. curl_setopt($ch, CURLOPT_HTTPHEADER, $_Headers); // 设备附加协议头
  47. }
  48. @$HTML = curl_exec($ch); //履行
  49. if ($html === False) { //获得毛病,
  50. $ret["Error"] = curl_error($ch);
  51. return $ret;
  52. }
  53. $ret["Info"] = curl_getinfo($ch); //获得具体信息
  54. curl_close($ch);//封闭工具
  55. // 区分头信息与正文
  56. $_wz = strpos($html,"\r\n\r\n");
  57. $ret["Header"] = substr($html,0,$_wz); //截取头信息
  58. // 获得Cookies 信息
  59. if(preg_match_all("/set-cookie:\s?(.*?=.*?);/i", $ret["Header"], $cookie)){
  60. $cookie = $cookie[1];
  61. }
  62. $ret["Cookies"] = "";
  63. foreach ($cookie as $value){
  64. if(!is_array($value)){
  65. $ret["Cookies"].= $value."; ";
  66. }
  67. }
  68. $ret["Cookies"] = substr($ret["Cookies"],0,-1);
  69. $ret["Body"] = substr($html,$_wz+4); //获得正文
  70. return $ret;
  71. }
  72. ?>

利用 cURL 的网页抓取源码 POST、 Cookies、代理和自界说头文件897 作者:全都有综合资本网 来历:全都有综合资本网 公布时候:2024-6-27 14:29

©版权免责声明
1、本站所有资源均来自用户上传及互联网。 如有侵权,请联系站长!
2、分享目的仅供大家学习交流。 下载后必须在24小时内删除!
3、不得用于非法商业目的或违反国家法律。 否则,后果自负!
4、本站提供的源代码、模板、插件等资源不包含技术服务。 敬请谅解!
5.如果出现无法下载、无效或有广告的链接,请联系管理员寻求帮助!
6、本站资源价格仅用于赞助,所收取的费用仅用于维持本站日常运营!
7、如果遇到加密压缩包,请使用WINRAR解压。 如果遇到无法解压的加密压缩包,请联系管理员!
8、由于精力有限,很多源代码无法详细测试(解密),部分源代码无法区分为病毒或误报,所以没有进行修改。 请在使用前进行筛选。

路过

雷人

握手

鲜花

鸡蛋
热门教程
专业的免费源码资源分享平台
每天更新100+资源

招募版主发工资

  • 官方在线客服

    QQ客服:红颜

    点击交谈

    在线客服:良子

    点击交谈

    在线客服:闵月

    点击交谈
  • 上海市虹口区海伦中心B座4F4055-4056室

  • 手机扫码查看手机版

    手机查找资源更方便

  • 扫一扫关注官方微信公众号

    加入官方微信

一个专业的免费源码资源互联网分享平台 ©2001-2024 https://www.douyouvip.com全都有综合资源网( 豫ICP备2024057239号-1 )赞助会员|网站地图 HTML
全都有综合资源网,WordPress主题PHP源码,PHP网站源码,网站模板,软件源码,网站源码免费下载,免费网站源码,网站源码模板,免费网站源码下载,wp免费源码,wp免费主题下载,PHP企业网站源码,软件源码下载