通过 Python 进行龙与地下城角色表解析器

Question

这个项目的要点很简单，但如果有人觉得自己有一些东西需要补充，我们将不胜感激。用途：该应用程序的用途是在 Myth-Weavers ( https://www.myth-weavers.com/ )上输入帐户并返回在该帐户上创建的所有龙与地下城工作表的名称。这该应用程序还应该能够获取直接链接（https://www.myth-weavers.com/sheet.html#id=2311944）。这在理论上是可能的，因为您无需登录 Myth-Weavers 即可访问链接和相关工作表。第一部分：我需要能够让应用程序进入网站并使用我的登录凭据进入我的帐户。当我登录该网站时，以下表单数据将在网络上发送：vb_login_username: Testbug Jonesvb_login_password: s: securitytoken: guestdo: loginvb_login_md5password: fea5ff2cf4764d2e76ea81e68bb458d1vb_login_md5password_utf: fea5ff2cf4764d2e76ea81e68bb458d1我使用以下代码通过登录检查我的进度：import requestsheaders = {    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'  }login_data = {    's' : '',    'securitytoken' : 'guest',    'vb_login_username' : 'Testbug Jones',    'vb_login_password' : 'TeStBuG',    'redirect' : 'index.php',    'login' : 'Login',    'vb_login_md5password' : 'fea5ff2cf4764d2e76ea81e68bb458d1',    'vb_login_md5password_utf' : 'fea5ff2cf4764d2e76ea81e68bb458d1'}#get pageurl = 'https://www.myth-weavers.com/'source = requests.get(url)#isolates login form, along with an sidprint('\n\n***CURRENT LOGIN STATUS***')login_status = source.textlogin_status = login_status.split("<!-- login form -->")[1]login_status = login_status.split("<!-- / login form -->")[0]print(login_status)#nab sid and update librarysid  = login_status.split('<input type="hidden" name="s" value="')[1]sid = sid.split('" /')[0]login_data['s'] = sid#create session and attempt to log inwith requests.Session() as s:  print('\n\n***ATTEMPTING TO LOGIN***')  r = s.post(url, data = login_data, headers = headers)  login_status = r.text  login_status = login_status.split("<!-- login form -->")[1]  login_status = login_status.split("<!-- / login form -->")[0]  print(login_status)在这一点上，我认为阻止我的是 1）语法，因为我显然是新人，2）cookie 没有被正确处理或 3）securitytoken/sid 没有被正确处理，但我已经达到了我可以看到的地步我的错误，但不是克服它们的方法。任何帮助或见解来克服这个问题都会非常有帮助！第二部分：这将允许我访问网站上的页面，特别是“表”页面，并打印出在那里找到的所有角色表的列表。它还能够检索存储在找到的角色名称的表行中的 JSON 文件。

Answer 1

您应该使用获取 cookie 发出第一个请求requests.Session()，并在发送 /login.php 时将它们发回。另外，您可以使用 beautifulsoup 获取登录表单中的所有输入名称/值，因此您只需添加您的用户名/密码（这样您就不会硬编码除用户名/密码之外的任何内容）

密码经过 md5 哈希处理，因此您可以使用它hashlib进行编码

以下进行登录调用：

import requests

from bs4 import BeautifulSoup

import hashlib

url = "https://www.myth-weavers.com"

username = "Testbug Jones"

password = "TeStBuG"

s = requests.Session()

r = s.get(url)

soup = BeautifulSoup(r.text, "html.parser")

form = soup.find("form",{"id":"login_form"})

payload = dict([(t.get("name"),t.get("value","")) 

    for t in form.findAll("input")

    if t.get("name")

])

md5 = hashlib.md5(password.encode('utf-8')).hexdigest()

payload["vb_login_username"] = username

payload["vb_login_password"] = password

payload["vb_login_md5password"] = md5

payload["vb_login_md5password_utf"] = md5

r = s.post(f"{url}/login.php", 

    params= {"do": "login"},

    data = payload

)

然后，您可以使用s.get(".....")如下方式获取工作表数据：

r = s.get(f"{url}/sheets")

soup = BeautifulSoup(r.text, "html.parser")

rows = soup.find("table").find_all("tr")[1:]

sheet_data = []

for row in rows:

    tds = row.find_all("td")

    download_link = f'{url}{tds[5].find("a")["href"]}'

    json = s.get(download_link)

    sheet_data.append({

        "name": tds[1].text.strip(),

        "template": tds[2].text.strip(),

        "game": tds[3].text.strip(),

        "download_link": download_link,

        "json": json.json()

    })

print(sheet_data)

在 repl.it 上运行这个