robots.txt 协议安全配置的教程robots.txt是搜索引擎访问网站时查看的第一个文件。 Robots.txt文件告诉蜘蛛程序可以在服务器上查看哪些文件。比如后台程序/admin就不应该被蜘蛛抓取。虽然对搜索引擎和网站隐私有好处，但也带来了坏处。robots.txt ...

网站源码下载网 › 首页 › 综合资讯› 技术文章 ›

robots.txt 协议安全配置的教程

技术文章

每日更新

2024-7-15 12:58 74人浏览 0人回复

原作者: 全都有综合资源网来自: 全都有综合资源网收藏分享邀请

摘要

robots.txt是搜索引擎访问网站时查看的第一个文件。 Robots.txt文件告诉蜘蛛程序可以在服务器上查看哪些文件。比如后台程序/admin就不应该被蜘蛛抓取。虽然对搜索引擎和网站隐私有好处，但也带来了坏处。robots.txt ...

robots.txt是搜索引擎拜候网站时检察的第一个文件。

Robots.txt文件告诉蜘蛛法式可以在办事器上检察哪些文件。比如背景法式/admin就不应当被蜘蛛抓取。虽然对搜索引擎和网站隐私有益处，但也带来了害处。robots.txt文件的具体设置会致使网站的途径泄露，所以需要平安设置robots.txt文件。

设置以下：

layui-box layui-code-view" style="margin-top: 0px; margin-bottom: 10px; padding: 9.5px; -webkit-tap-highlight-color: rgba(0, 0, 0, 0); white-space: pre-wrap; overflow-wrap: break-word; box-sizing: border-box; position: relative; font-size: 13px; border: 1px solid rgb(204, 204, 204); background-color: rgb(245, 245, 245); color: rgb(51, 51, 51); font-family: Menlo, Monaco, Consolas, "Courier New", monospace; overflow: auto; line-height: 1.42857; word-break: break-all; border-radius: 4px;">code
# robots.txt 
User-agent: *
Disallow: /a*/
Disallow: /i*/
Disallow: /u*/
 
把Disallow: /admin/ 改成Disallow: /a*/ 用* 去取代前面的途径，从而庇护了网站的结构，避免泄露。

©版权免责声明

1、本站所有资源均来自用户上传及互联网。如有侵权，请联系站长！
2、分享目的仅供大家学习交流。下载后必须在24小时内删除！
3、不得用于非法商业目的或违反国家法律。否则，后果自负！
4、本站提供的源代码、模板、插件等资源不包含技术服务。敬请谅解！
5.如果出现无法下载、无效或有广告的链接，请联系管理员寻求帮助！
6、本站资源价格仅用于赞助，所收取的费用仅用于维持本站日常运营！
7、如果遇到加密压缩包，请使用WINRAR解压。如果遇到无法解压的加密压缩包，请联系管理员！
8、由于精力有限，很多源代码无法详细测试（解密），部分源代码无法区分为病毒或误报，所以没有进行修改。请在使用前进行筛选。

本文网址：

联系客服