看看没有收录的文章：

我有个主张。我刚刚剖析了 ＜b＞url＜b＞ 假如可以婚配已经包括的说明，不婚配则不包括。依照这些方式，代码的第一个版本很快就写好了。

code
def get_baidu(url):
    headers = {        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'
    }  
    baidu = 'https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&tn=baidu&wd='
    search_url = baidu + url
    response = requests.get(search_url,headers=headers)
    text = response.text    if 'http' in url:
        url = url[url.index('//')+2:]
    pattern=re.compile(r'<b>{}</b>'.format(url))
    result_list = pattern.findall(text)    if result_list:        return 200
    else:        return 403

随意测试了几篇文章，确切有用，可以收工了……且慢，再找找其他人的文章测试一下吧。

输入 http://www.ruanyifeng.com/blog/2017/12/blockchain-tutorial.html，嗯？怎样返回 403 了？用百度搜了一下，没错啊，已经收录了，而且搜索出来的成果也是加粗的。

仔细看。哦…本来百度隐藏了一部分太长的网址，所以没法婚配。这个很难，确切可以截取一部分URL停止婚配，可是这个不正确。

仔细观察了一下，发现假如百度真的包括了这个网址，那末这个网址就会出现在搜索成果的顶部，在第一个和第二个搜索成果之间会出现一个“这里是包括... ... 的页面”的信息。所以我有了一个新的想法，首先，捕捉网页的文本从起头到“这是网页的内容...”然后利用正则表达式婚配百度跳转链接。假如你在百度找到了第一个婚配的搜索成果，那末这篇文章将会被包括在内。所以我写了代码的第二个版本。

code
@app.get("/baidu/")async def get_baidu(u: str = Query(..., min_length=3)):
    headers = {        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36',        'Referer': 'https://www.baidu.com'
    }    # 网址后缀处置
    if '.' in u[-5:]:        pass
    elif u[-1] != '/':
        u += '/'
    # 网址协议头处置
    if ('http' in u) and not ('www' in u):
        u = 'www.' + u[u.index('//')+2:]    elif ('http' not in u) and not ('www' in u):
        u = 'www.' + u
    baidu = 'https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&tn=baidu&wd='
    search_url = baidu + u    try:
        response = requests.get(search_url, headers=headers)
        text = response.text
        text = text[:text.index('以下是网页中包括')]
        pattern = re.compile(r'"http://www.baidu.com/link\?url=.+?"')
        result_list = pattern.findall(text)        if result_list:            return {'code': 200, 'msg': '该网址已被百度收录！'}        else:            return {'code': 403, 'msg': '该网址暂未被百度收录！'}    except:        return {'code': 404, 'msg': '百度收录查询失利！'}

嗯，很好，此次是真的就行了……（Flag 预定）。

PS：可以看到代码里有个网址的预处置，这是由于网址没有最初一个 / 时会查不出来，可是 .html 这类格式的又不需要加。别的，网址开首可以不带 http/https，可是必须带 www，要否则一样搜不出来。

跨域题目

测试没题目，那便可以上线了，摆设到办事器上，依照 https://www.sitstars.com/archives/65/中的教程点窜 API 地址，看下情况。题目又来了……

API 请求地址出现了一个鲜红的红色，提醒 strict-origin-when-cross-origin 毛病，看样子是跨域毛病？试着用毛病提醒 +fastapi 在 Google 上搜了一下，公然 fastapi 早已经斟酌到了这个题目，而且给出领会决计划。

参考材料：https://fastapi.tiangolo.com/tutorial/cors/

简单来说，加入以下代码便可以了：

code
from fastapi import FastAPIfrom fastapi.middleware.cors import CORSMiddleware
app = FastAPI()
origins = [    "http://localhost.tiangolo.com",    "https://localhost.tiangolo.com",    "http://localhost",    "http://localhost:8080",    "*"]
app.add_middleware(
    CORSMiddleware,
    allow_origins=origins,
    allow_credentials=True,
    allow_methods=["*"],
    allow_headers=["*"],
)

origins 是一个一切答应的请求域列表，加入 * 代表答应一切请求，固然也可以加入具体的网址和端口，比如上面几个例子。

加好后再测试一下，成功显现！而且速度还挺快。

百度本身题目

就在革新网站看结果的时辰，悲剧了。网页上忽然提醒我百度搜索失利！这是为什么呢？我手动试过API，成果输出不了，可是当地用没题目。ip被百度黑是由于我搜索太频仍吗？因而我找了很多处理方式，比如headers加更多参数，改代理ip，完全没用！

我检察了作者的博客，留意到在 PHP API 代码中有一个 CURLOPT，百度立即留意到该函数用于跟踪 URL 重定向。呃..？有没有能够是办事器搜索速度太快致使百度没有对重定向做出反应。是以，我利用了第二部分 print ()中的代码来获得最初一次跳转的 URL，并检察它将我引向何处。

点窜完代码重新摆设，没想到此次API又有用了。似乎是痉挛的题目。我革新了几次都没结果。这时辰办事器的控制台上也刷到了重定向的网址，就像我拼接的百度查询网址一样！什么情况？我自己对收集领会很少，所以最初也没有处理的法子。我只是晓得另一种判定百度查询失利的方式:只要有重定向，就一定会失利。