python康复日记-request库的使用，爬虫自动化测试
一，request的简单应用
#1请求地址
URL='https://example.com/login'
#2参数表单
form_data = {'username': 'admin','password': 'secret'
}
#3返回的响应对象response
response = requests.post(URL,data=form_data,timeout=5
)
#4处理返回结果，这里直接打印返回网页的正文。通常需要json转化，和encode编码下
print(reponse.content)1，请求头需要设置，有些网站会限制访问
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36','Referer': 'https://www.99csw.com/','Accept-Language': 'zh-CN,zh;q=0.9'}try:# 发送HTTP请求response = requests.get(url, headers=headers, timeout=15)2，response的属性
发送request请求后，返回的reponse对象里有我们要的信息，需要处理。常用的3个标粗了。
| 属性/方法 | 类型/返回类型 | 说明 |
|---|---|---|
status_code | int | HTTP 状态码（如 200、404、500） |
headers | CaseInsensitiveDict | 响应头字典（不区分大小写） |
text | str | 解码后的文本内容（自动根据 encoding 解码） |
content | bytes | 原始字节内容（未解码的二进制数据） |
json() | dict/list | 解析 JSON 响应内容（非 JSON 内容会抛异常） |
url | str | 最终请求的 URL（含重定向后的地址） |
encoding | str | 响应内容的编码格式（可手动修改） |
apparent_encoding | str | 通过内容分析出的编码格式（自动检测） |
raw | HTTPResponse | 原始响应流对象（需配合 stream=True 使用） |
cookies | RequestsCookieJar | 服务器返回的 Cookies |
elapsed | datetime.timedelta | 请求耗时（从发送到响应完成的时间） |
history | list[Response] | 重定向历史记录列表 |
reason | str | 状态码的文本描述（如 200 → "OK"，404 → "Not Found"） |
request | PreparedRequest | 关联的请求对象（含请求头、方法、URL 等信息） |
rep = reponse.content.decode('utf8')，content获取的正文是二进制，注意编码。
正文处理通常需要 json格式化 和 re正则模块 的匹配。
#对返回content正文中，span标签的获取，标题内容获取
pattern1 = re.compile(r'<span class="title">([^&]*?)</span>')
titles = pattern1.findall(resp.text)3，session会话保持，处理cookie，保持会话。
Session 对象存储特定用户会话所需的属性及配置信息。可以带上cookie含帐号密码。
成功登陆之后，直接获取返回响应的cookie
def login():login_url = 'http://www.xxx.com/login'headers = {"Accept": "application/json, text/javascript, */*; q=0.01"}body = {"usercode": "liuzz05@****.com","password": "123456"}try:res = requests.post(url=login_url, headers=headers, data=body)cookies = res.cookiescookie = requests.utils.dict_from_cookiejar(cookies)return cookieexcept Exception as err:print('获取cookie失败：\n{0}'.format(err))如果没有，先登录，从浏览器工具栏取cookie，找信息。
F12检查请求。cookie里有大串字母，password，token等字样说明这个可能是带密码账号的cookie，要具体情况定。
直接使用cookie，或者把cookie放在header参数中，依据具体网站请求头格式而定
把cookie转化为字典格式，手动扣cookie的键值对。本地文件写入分析，拼接
def get_data():cookie = login()res = requests.get(url=get_data_url, cookies=cookie)print(res.text)def get_data():cookie = login()headers = {"cookie": cookie}res = requests.get(url=get_data_url, headers=headers)print(res.text)一个完整的登录案例。
def auto_login():s = requests.Session()r = s.get(login_url)bs = BeautifulSoup(r.text,'html.parser')image = bs.find("img", {"id": "vcJpeg"})['src']lt_data = bs.find("input", {"name": "lt"})['value']csr_data = bs.find("input", {"name": "csrftoken"})['value']sec_data = bs.find("input", {"name": "sec"})['value']#print(lt_data,",",csr_data,",",sec_data)rootdir="http://172.16.5.12:10086"ir = s.get(rootdir+image)if ir.status_code == 200:with open('valid.jpg', 'wb') as f:f.write(ir.content);f.close();validateCode = get_code(Image.open('valid.jpg')) # 通过本地图片解析验证码print(validateCode)postdata={'csrftoken': csr_data,'username': uosp_username,'password': base64.b64encode(uosp_passwd.encode('utf-8')),'institute': '00010000','validateCode': validateCode,'lt': lt_data,'sec': sec_data,'dn': '','ip': '144.4.44.44','_eventId':'submit',}print(postdata)form_data={"action":"GetINCInfoByID","id":"INC000287932",}s.post(login_url,data = postdata)s.post(incident_url,data = form_data)s.post(servicelogin_url)cookies_dict = requests.utils.dict_from_cookiejar(s.cookies) # 登录后页面的cookie转化为dict#print("cookies is that ",cookies_dict)if ('.ASPXUSERDEMO' in cookies_dict): # 如果登录成功，cookie中会有.ASPXUSERDEMO字段值cookies = open('login_cookies', 'w')cookies.write(str(cookies_dict)) # 将cookie信息写入本地文件，其他模块直接访问文件可以绕过登录cookies.close()return selse:return None