Python获取页面链接

文章目录

网页资源嗅探功能应该大部分人都很熟悉了，我们也用python来实验一下从指定的网页获取所有链接。

先安装好依赖模块。

pip install beautifulsoup4
pip install requests

结合前几个实践，这次的也是简单到不行，直接上代码。

import requests as rq
from bs4 import BeautifulSoup

url = input("Enter Link: ")
if ("https" or "http") in url:
    data = rq.get(url)
else:
    data = rq.get("https://" + url)
soup = BeautifulSoup(data.text, "html.parser")
links = []
for link in soup.find_all("a"):
    links.append(link.get("href"))

# 实际运用中可能会使用 a（追加）模式 来替代 w（写入）模式
with open("E:/WindowsDocuments/G7/Desktop/links.txt", 'w') as saved:
    print(links[:10], file=saved)

输入 www.baidu.com ，得到下面的文件：