这几天在学习模拟登陆,而登陆离不开http中Cookie技术
Cookie
由于HTTP是一种无状态的协议,服务器单从网络连接上无从知道客户身份。怎么办呢?就给客户端们颁发一个通行证吧,每人一个,无论谁访问都必须携带自己通行证。这样服务器就能从通行证上确认客户身份了。这就是Cookie的工作原理。
分析网页数据
我们用Chrome来打开豆瓣(F12开发者工具),先输入一个错误的账户信息来观察浏览器是如何发送请求的
从浏览器的请求可以发现几个关键的信息
- 登录的 URL 地址是 https://accounts.douban.com/login
- 登录需要提供的表单数据有7个:
- source:index_nav
- redir:https://www.douban.com/
- form_email:286210002@qq.com
- form_password:123
- captcha-solution:errfdf
- captcha-id:lWtHfckzUAF4PoAtFtQdsyZy:en
- login:登录
我们还需要获取验证码元素,我们在开发者工具中切换到Elements一栏
从中我们得到了验证码元素在img标签内
img id=”captcha_image”
最后我们还需要captcha-id元素,Ctrl+U打开页面源码(在登陆页面打开),Ctrl+F搜索captcha-id
好了,到了这一步所需的数据全部获取完毕
实战应用
登陆所需要的模块
- Requests
- BeautifulSoup4
pip install requests
pip install BeautifulSoup4
http.cookiejar 模块可用于自动处理HTTP Cookie,LWPCookieJar 对象就是对 cookies 的封装,它支持把 cookies 保存到文件以及从文件中加载。
而 session 对象 提供了 Cookie 的持久化,连接池功能,可以通过 session 对象发送请求
首先从cookies 文件中加载 cookie信息,因为首次运行还没有cookie,会出现 LoadError 异常。
获取验证码
|
|
登陆
|
|
第一次登陆后session 会自动把 服务端的返回的cookie 信息填充到 session.cookies 对象中,下次登陆时就不需要再输入账号密码
完整代码