教务处考试系统自动答题

学校要求登录教务处网站做一个测试题，我做了看了看，30分钟300道题，240分几个，题量不少，题还不好做。研究了一下发现原来在网站上就有题库的，但是一道题只有6s 的时间作答，边查边做肯定是时间不够的。灵光一闪，人生苦短，我用Python，写个自动答题的机器人吧。

思路：

• 爬取题库并存储到数据库

• 模拟登录教务系统

• 进入答题页面，遍历题目，匹配数据库中记录，给出答案

• 提交数据

用到的工具：

• Python

• requests

• BeautifulSoup

• mongodb

实现过程：

• 模拟登录

以前研究过学校教务系统的登录，现在终于在正事上排上用场了。学校教务系统的登录还算简单，没有验证码，唯一一点儿小障碍是登录表单会有几个隐藏字段，有个字段会动态改变，解决就是先GET一下登录网址，获取这几个字段的值，再随表单进行POST。代码：

import requestsfrom bs4 import BeautifulSoupimport os

headers = {    'Connection': 'keep-alive',    'Cache-Control': 'max-age=0',    'Upgrade-Insecure-Requests': '1',    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.95 Safari/537.36',    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',    'Accept-Encoding': 'gzip, deflate, sdch',    'Accept-Language': 'zh-CN,zh;q=0.8,en;q=0.6,zh-TW;q=0.4'}

session = requests.session()# 先GET一下登录页面获得隐藏字段resp = session.get("http://ids.qfnu.edu.cn/authserver/login?service=http%3A%2F%2F202.194.188.19%2Fcaslogin.jsp", headers=headers)
bsObj = BeautifulSoup(resp.text, "html.parser")     
lt = bsObj.find('input', {'name':'lt'})['value']
execution = bsObj.find('input', {'name':'execution'})['value']

params = {    'username': os.environ.get('STU_ID'),   # 环境变量获取的学号
    'password': os.environ.get('STU_PWD'), # 环境变量获取的密码
    'lt': lt,    'execution': execution,    '_eventId': 'submit',    'rmShown': '1'}# post 数据登录成功resp = session.post("http://ids.qfnu.edu.cn/authserver/login?service=http%3A%2F%2F202.194.188.19%2Fcaslogin.jsp", data=params, headers=headers)

• 题库爬取

用了Python的requests库进行页面的爬取，励志小哥写的这个库的确好用，特别是运用 requests.session()之后，处理好登录之后，再也不用管那些烦人的cookie 啥的了，用了BeautifulSoup来进行页面解析，用起来也是很顺手。开始有乱码，一看网页编码是gb2312的，稍微设置一下也OK了。
内容有了，当然要存储起来了，不然每次答题都有爬题库多麻烦，何况是些千年不变的东西。开始用的是MySQL，然而编码问题让人头疼，设置编码为gb2312，存储的时候说有内容 gb2312 又解析不了，于是程序就挂了。搞了很长时间也没搞定，还把我的 Sequel Pro 给搞挂了，f***!
静下心来一想，题库只要写数据库写一遍就OK了，但是答题的时候会频繁地查询数据库，用nosql数据库多好。题目做键，答案做值就行了。看过redis，但毕竟是内存型数据库，虽然快，但是还要做持久化，直接用mongodb吧，还没看过，刚好学习了，边学边用。
爬取并存储题库部分的代码：

tikubhs = [8692, 10988, 10989, 10990, 10991, 10992, 10993, 10994, 10995]  # 每一类题库的编号pages = [153, 77, 13, 18, 22, 27, 10, 39, 12]  # 每一个题库的题目页数from pymongo import MongoClient
client = MongoClient()
db = client.shitiDB    # 数据库名 shitiDBshiti_table = db.shitis    # 表名 shitisfor tikubh, page_range in zip(tikubhs, pages):    for page in range(1, page_range+1):
        url = "http://aqjy.qfnu.edu.cn/redir.php?catalog_id=6&cmd=learning&tikubh="+str(tikubh)+"&page="+str(page)
        resp = session.get(url)
        resp.encoding = 'gb2312'
        bsObj = BeautifulSoup(resp.text, "html.parser")
        shitis = bsObj.find_all('div', class_='shiti')
        daans = bsObj.find_all('span', style='color:#666666')
        values = []        for timu_str, daan_str in zip(shitis, daans):
            shitibh = int(timu_str.h3.text[0:5])
            timu = timu_str.h3.text[6:]
            daan = daan_str.text[daan_str.text.find('标准答案')+5:].strip(' ）')
            d = {'shitibh':shitibh, 'tikubh':tikubh, 'timu':timu, 'daan':daan}
            values.append(d)
        new_result = shiti_table.insert_many(values)

• 模拟作答

这一部分是最关键的部分，再这上面的耗时比较多，大部分时间都在研究他的数据的提交流程。
题目是分页的，且选择页面或点击上下页的时候，地址栏的地址是不变的，说明分页是通过js实现的，而不是直接用的链接：

研究得知，上下页和页面选择都是通过post数据标志到本页面实现的

搞懂了这些数据的意义和他们之间的关系，用代码模拟出来就OK了，当作到最后一页完成的时候，把tijiao标志也设为1，POST到原URL就完成了作答，这部分代码就不贴了，文末有GitHub链接。

• 可能的改进

• 写好之后许多同学找我给答题，看看如果多的话用flask搭成个web服务。高效还不用担心我泄露你们的密码了。

• 爬题库的时候想的是爬答案的文本，爬成了ABCD的选项，多亏选项和答案文本的对应关系没变，但也造成个别问题答案会有错误，致使我给答题的同学分数基本都在297-299之间（满分300分），少有300分的同学。本来想改来着，转念一想都满分也不太好，有点误差也好，可能这部分不会改了，感兴趣的可以自己改改看。

ps: 本校的可以直接搭好拿来用就可以了，其他同学如有类似需求，这个系统是某公司开发的，好多学校都在用，folk一份改改应该也没问题。 戳到github吧，欢迎 star、folk。

作者：hukx_michael
链接：https://www.jianshu.com/p/aeb09ef4f01a