[杂项] py查询md5爬虫&简单excel处理

import requests as rq

from bs4 import BeautifulSoup

import json

import csv

from openpyxl import load_workbook as readxl

from openpyxl import Workbook

#设置要爬取的 url

url = "https://www.qvdv.com/tools/qvdv-md5-_index.html"

#读取全部信息表格，第一个工作表

table = readxl('./total.xlsx')

totSheet = table.worksheets[0]

#print(totSheet[1][1].value)

#读取通过者名单表格

table = readxl('./pass.xlsx')

passSheet = table.worksheets[0]

#稍微打包一下方便查找

passerMd5 = []

for passer in passSheet:

  passerMd5.append(passer[0].value)

#准备输出到这里

#创建一个 Workbook 对象

wb = Workbook()

#新建一张表

wb.create_sheet("sheet1") 

# 获取当前活跃的 sheet，默认为第一张 sheet

table = wb.active

#tot 记录总人数，顺带当作表格的索引，顺带这个是从 1 开始计数的

tot = 1

#循环所有人名单查找通过者

for stu in totSheet:

  #打包要 post 的 form 数据

  data = {

  #这里通过学号的 md5 来找

  "code": stu[0].value,

  "codeType": "x32"

  }

  #post 请求获取 md5 值

  res = rq.post(url, data)

  #返回一个字符串，转成 json 再找 data 就是学号对应的 md5 值

  md5Value = json.loads(res.text)["data"]

  #当前对象在通过名单中，加入表格

  if (md5Value in passerMd5):

    table.cell(tot, 1, stu[0].value)

    table.cell(tot, 2, stu[1].value)

    tot += 1

#保存表格

wb.save("passers.xlsx")