demo: https://dun.163.com/trial/picture-click
文字点选验证码
1. 分析响应:目标文字按序明文返回的,一张背景图 2. 如何定位背景图的文字,并按顺序点击文字呢。可以通过yolo自行训练识别图中的文字位置,然后OCR识别文字内容,最后依据目标文字排序定位。参考:[https://www.52pojie.cn/thread-1888314-1-1.html](https://www.52pojie.cn/thread-1888314-1-1.html) 3. 所以需要准备一些验证码样例图片用于训练。分析刷新获取图片的接口:https://c.dun.163.com/api/v3/get
参数值变化参数有callback、cb、irToken、token四个。
irToken为接口https://ir-sdk.dun.163.com/v4/j/up下发的tk值,
token由接口/api/v3/get上一次下发返回,第一次值为空
其余没找到。
https://cstaticdun.126.net/2.28.5/core-optimi.m25b40.v2.28.5.min.js?v=2977650
https://cstaticdun.126.net/2.28.5/core-optimi.m25b40.v2.28.5.min.js?v=2977666
关键业务JS每次回携带一个v参数, 且间隔1分钟就变化,主要目的是打破浏览器缓存,让浏览器每次加载最新的JS,但是这会导致旧的JS断点分析进度失效。所以直接把这一行删掉,不携带这个变化的参数。

然后简单的用AST解混淆一下,把数组混淆的解码函数提出来,替换所有通过解码器间接访问的节点。然后解混淆的JS替换到网页,检查是否能正常运行。
import { parse } from "@babel/parser";import { generate } from "@babel/generator";import * as t from "@babel/types";import traverse from "@babel/traverse";import type { Binding } from '@babel/traverse'
import fs from "fs";
const inputPath = "yidun/core-optimi.m25b40.v2.28.5.min.js";const sourceCode = fs.readFileSync(inputPath, "utf8");
const ast = parse(sourceCode, { sourceType: "script" });
// #region 解码器,取自混淆JS头部var a0_0x3d6e = ['doIJY3r0CJ', 'tow5YSs']; // 这里是一个超级大字符串数组,太长了删了些
function a0_0x1e60(_0x3d6ee5, _0x1e6084) { _0x3d6ee5 = _0x3d6ee5 - 0x0; var _0x4bdd0c = a0_0x3d6e[_0x3d6ee5]; if (a0_0x1e60['lInzJz'] === undefined) { var _0xeb4e91 = function (_0x2acaa9) { var _0xcc8b64 = 'kyclmxfigrhbswquanzevpjotdKYCLMXFIGRHBSWQUANZEVPJOTD0123456789+/='; var _0x2a66d7 = ''; for (var _0x1fc777 = 0x0, _0x1d758e, _0x48c2de, _0x4ca6b8 = 0x0; _0x48c2de = _0x2acaa9['charAt'](_0x4ca6b8++); ~_0x48c2de && (_0x1d758e = _0x1fc777 % 0x4 ? _0x1d758e * 0x40 + _0x48c2de : _0x48c2de, _0x1fc777++ % 0x4) ? _0x2a66d7 += String['fromCharCode'](0xff & _0x1d758e >> (-0x2 * _0x1fc777 & 0x6)) : 0x0) { _0x48c2de = _0xcc8b64['indexOf'](_0x48c2de); } return _0x2a66d7; }; a0_0x1e60['gtHdNm'] = function (_0x45b013) { var _0xf4006c = _0xeb4e91(_0x45b013); var _0x2971cd = []; for (var _0x45b530 = 0x0, _0x47f17f = _0xf4006c['length']; _0x45b530 < _0x47f17f; _0x45b530++) { _0x2971cd += '%' + ('00' + _0xf4006c['charCodeAt'](_0x45b530)['toString'](0x10))['slice'](-0x2); } return decodeURIComponent(_0x2971cd); }, a0_0x1e60['UnDJmF'] = {}, a0_0x1e60['lInzJz'] = !![]; } var _0x43ffbb = a0_0x3d6e[0x0], _0x146451 = _0x3d6ee5 + _0x43ffbb, _0x4092f6 = a0_0x1e60['UnDJmF'][_0x146451]; return _0x4092f6 === undefined ? (_0x4bdd0c = a0_0x1e60['gtHdNm'](_0x4bdd0c), a0_0x1e60['UnDJmF'][_0x146451] = _0x4bdd0c) : _0x4bdd0c = _0x4092f6, _0x4bdd0c;}// #endregion
traverse(ast, { // 解码器解码 CallExpression(path) { if (path.node.callee.name == "a0_0x1e60") { path.replaceWith(t.stringLiteral(eval(path.toString()))); } }, // 三元表达式转if ConditionalExpression(path){
}, // 逗号表达式拆分 SequenceExpression(path){
}, // 计算表达式 BinaryExpression(path){ try { const evaluated = path.evaluate() if(evaluated.confident){ path.replaceWith(t.valueToNode(evaluated.value)) } } catch (error) { // Handle evaluation errors if necessary }
}})
let f = 0, v = 0;traverse(ast, { // 重命名 // Identifier(path) { // // 函数定义,函数表达式,箭头函数 // if (t.isFunctionDeclaration(path.parent) || t.isFunctionExpression(path.parent) || t.isArrowFunctionExpression(path.parent)) { // // 判断是参数还是函数名 // if (path.key == 'id') { // path.scope.rename(path.node.name, `f${f++}`); // } // if (path.listKey == 'params') { // path.scope.rename(path.node.name, `p${path.key}`); // } // } // if (t.isVariableDeclarator(path.parent)) { // path.scope.rename(path.node.name, `v${v++}`); // } // }, "StringLiteral|NumericLiteral"(path) { // 去除转义 delete path.node.extra }, // 对象访问形式,点式访问 // MemberExpression(path) { // if (t.isStringLiteral(path.node.property)) { // const object = path.node.object.name // if (typeof object !== 'string') return; // const property = path.node.property.value // if (typeof property !== 'string') return; // // 判断是否是合法的标识符, 比如"enter-class" 只能用["enter-class"]访问,不能用点式访问 // if (!/^[a-zA-Z_$][a-zA-Z0-9_$]*$/.test(property)) return; // // 替换为点式访问节点 // path.replaceWith( // t.memberExpression( // t.identifier(object), // t.identifier(property), // false // computed = false 表示用点访问 // ) // ) // } // }});
console.log("AST transformation completed. Generating output...");const output = generate(ast, {});fs.writeFileSync("yidun/output.js", output.code);先看cb参数的生成,第一层逻辑大致是生成一个随机数uuid,然后对其中pos位置的字符替换为code中的字符。

第二层就比较复杂了,主要逻辑是将第一层生成的key转为一个68位数组,与另一个固定的seed_key和随机生成的种子,再组成一个68位数组,最后这两个经过一系列位运算后,经过一个自定义base64得到最终的cb值。这里一层一层慢慢扣算法(费头发)。

callback这个参数一半不会涉及加密什么的,不过还是看了一下,最后序号标记了请求的次数。第一次为0,后续每次刷新验证码+1

然后继续分析前置接口up,有两个参数n、d是每次更改的。
但是由于这两个都是单字符,搜索结果过多,可以尝试搜索有个vk的参数,即可快速定位。

参数三个t,o,f在同一次环境下是三个固定值,固定的数组。
刷新网页后更改部分,猜测可能是浏览器环境相关的值,应该可以短暂固定,测试跑了30多次后挂掉了。加了请求频率限制好一些。
然后这里的算法有部分与cb生成算法类似,就直接将相关代码丢给AI还原了。

分析https://c.dun.163.com/api/v3/check接口,也是token,data,cb,callback4个参数。 其中token标识某一次的验证码,cb, callback已还原,只剩data,data是个对象,有d,m,p,ext四个参数,除d的值为空之外,其余都需要还原。 验证通过后会下发一个validate,然后需要验证的接口需要携带该参数向服务器访问才能放行。
{ "result": true, "zoneId": "CN31", "token": "2106f759327b45cbbbf8ce214d020717", "validate": "8gxMgwjCs36ABQyKiWXApPYj4qmeePZtNacdk+33/pWyyVk9xmp6Fe6etQ75HC/G/p4SqUksSPlt8+SstaDC3Eve43eTujSRtRjRkjwxQHqMbEM++Pct5xXuD49zgPX7H+NxbC4Ey8lWFQEpxlIQoqeVbTfQ69Hz0Ew+61AU5i8="}定位的话比较简单,一搜就有了;比较多就都打上断点,看发请求的时候走哪里。
简单看一下猜测m应该是轨迹相关,p应该是点击坐标,ext是绑定的一致性参数。

m是一个大字符串数组,字符串在push前被加密。 一个坐标在被加密前的格式如下,
背景图位置 left=722.5, top=16.5math.round(x-left),math.round(y-top),(now-begin_time),0将每个位置的坐标绑定token参与位运算后,进行自定义base64。这样所有坐标被加密为一个字符串,从中等距采样50个数组,拼接合并为一个字符串,再进行最后的加密。
m,p,ext加密算法一致,仅中间处理入参时有细微区别。

由于暂时识别获取坐标还没做,只能先断点获取bg的背景图地址,然后替换到网页中的验证码图片,人工点击后获取真实的坐标位置后,再hook注入Python程序中使用,结果验证通过,说明p,m,ext这几个参数加密算法没有问题。目前是模拟了轨迹,但是环境参数还是使用的固定值。


总结一下整个流程,先是/up接口通过d参数上发验证浏览器环境信息是否安全,/get接口时通过一个由特征码和随机盐加密的cb参数,防止接口被篡改,最后/check接口校验轨迹m,坐标p,以及携带参数ext。
坐标识别
测试了一下视觉模型识别坐标,对比与实际差距不大。但是其他较小的Qwen-VL模型不太理想,3.8Max成本有点高。

然后图片干扰项比较多,OCR识别文字的准确率较低,如果准确率高的话,还自带识别的坐标信息,就比较简单了。

基于PaddleOCR做模型训练:https://www.paddleocr.ai/latest/version3.x/pipeline_usage/OCR.html
yolo
标注时,默认使用右上角的draw模式,可切换为smart模式,点击文字区域会使用已训练的模型智能画框,大部分都挺准的,只有少数,特别是“元”字容易不全,再人工调整就可以了,这样标注效率大幅度提升,100张标注约30分钟。

由于这次要复杂一些,仅训练了不到一百张图片(懒得标注),效果不是很好,很多不能标注出来。

新增训练集图片数量到347张后,验证集依旧保持19张。
提升Epoch计划训练次数从100提升到300; 实际训练轮数为226轮后不再有提升停止
base model从yolo26n改为使用更大的yolo26m;
提升效果也很明显,其中干扰比较严重的“元”字也标注了出来。
识别速度也挺快,150张平均都在1ms左右。

还有实际采集下来,实际用到的文字并不是很多,始终只是那几个字。那么问题就可以从这到底是什么字变为对比这10个字,哪个更相似? 方向一:训练图像每类模型,固定10文字对图像进行分类,就限制10个中最像哪个,更准确。 方向二:训练相似度模型,对象两个图像得到相似度,找相似度最高的(更通用) 相似模型: https://github.com/bubbliiiing/Siamese-pytorch
{'全', '元', '安', '类', '特', '库', '验', '扩', '来', '体'}方向一: 分类模型
先根据定位坐标,从图像中裁剪出单个字的图片。 (PS:感觉标注的时候就可以分类属于哪个字了,我统一使用了“文字”类)
from pathlib import Pathfrom PIL import Imagefrom ultralytics import YOLO
# https://docs.ultralytics.com/zh/tasks/detect#%E8%AE%AD%E7%BB%83# 数据标注:https://platform.ultralytics.com/home
# uv add ultralytics onnx onnxruntimemodel = YOLO("yidun/model/letter-region-1.onnx")
dir = Path("yidun/imgs")# 保存标记结果result_path = Path("yidun/results")# 保存每个字的结果letter_path = Path("yidun/letters")
for index,img in enumerate(dir.glob("*.jpg")): print(index, img) results = model(img.as_posix()) # run inference
# Access the results for result in results: respath = Path(result_path, img.name) result.save(respath.as_posix()) xyxy = result.boxes.xyxy.cpu().numpy() # [[x1,y1,x2,y2], ...] names = [result.names[cls.item()] for cls in result.boxes.cls.int()] confs = result.boxes.conf.cpu().numpy()
im = Image.open(img) for i, (box, name, conf) in enumerate(zip(xyxy, names, confs)): x1, y1, x2, y2 = box crop = im.crop((x1, y1, x2, y2)) save_path = letter_path / f"{img.stem}_{i}_{name}_{conf:.2f}.jpg" crop.save(save_path)
使用scikit-learn聚类先进行一遍粗分,再人工纠错,加快标注速度。 参考:https://scikit-learn.org/stable/modules/clustering.html
标注平台新建数据集,切换任务类型Task Type为分类Classification。
但是感觉这个整个图像分类的标注并不好用。然后使用在本地文件夹分类好后,上传一个类的,统一全部标注。

训练后的测试结果也还比较理想,只有“扩”这个字因倾斜后宽度小尺寸问题无法训练使用,导致数据量只有27张,最后“扩”会识别不太准确。
from pathlib import Pathimport shutil
import numpy as npfrom ultralytics import YOLO
MODEL_PATH = "yidun/model/letter-classify.onnx" # ONNX 导出的分类模型SRC_DIR = Path("yidun/letters") # 待分类图片OUT_DIR = Path("yidun/letter_results") # 结果输出目录IMGSZ = 640 # 模型输入尺寸(导出元数据 imgsz=[640,640])
def predict(model, img_path: Path): """对单张图片做分类,返回 (top1类别, top1置信度, [(类别, 置信度), ...]Top5)""" results = model(img_path.as_posix(), imgsz=IMGSZ, verbose=False) r = results[0] probs = r.probs.data.cpu().numpy() # shape (10,),各类别概率 order = np.argsort(probs)[::-1] # 从高到低排序 top1 = int(order[0]) top1conf = float(probs[top1]) top5 = [(int(i), float(probs[i])) for i in order[:5]] return r.names[top1], top1conf, top5, r.names
def main(): model = YOLO(MODEL_PATH, task="classify") # ONNX 丢失任务信息,必须显式指定 task print(f"模型: {MODEL_PATH} task={model.task}")
imgs = list(img for img in SRC_DIR.glob("*.jpg")) print(f"待分类图片: {len(imgs)} 张 -> {SRC_DIR}") if not imgs: print("未找到图片,退出") return
# 输出目录结构 class_dir = OUT_DIR / "分类"
for i, img in enumerate(imgs, start=1): char, conf, top5, names = predict(model, img)
# 2) 按预测类别归档原图副本 cls_folder = class_dir / char cls_folder.mkdir(parents=True, exist_ok=True) shutil.copy2(img, cls_folder / img.name)
print(f"[{i}/{len(imgs)}] {img.name} -> {char} ({conf * 100:.2f}%)")
# 控制台汇总 print(f"\n{'=' * 40}") print(f"\n结果已输出到 {OUT_DIR.resolve()}/") print(" - 分类/ 按预测类别归档的原图")
if __name__ == "__main__": main()
简单写个脚本使用两个模型进行识别定位输出测试。(写的有点乱)
对比测试实际的坐标差值,相差不大.
from pathlib import Pathfrom ultralytics import YOLOfrom PIL import Image
# https://docs.ultralytics.com/zh/tasks/detect#%E8%AE%AD%E7%BB%83# 数据标注:https://platform.ultralytics.com/home
CLASSIFY_MODEL_PATH = "yidun/model/letter-classify.onnx"# uv add ultralytics onnx onnxruntimeREGION_MODEL_PATH = "yidun/model/letter-region-1.onnx"
dir = Path("yidun/imgs")# 保存标记结果result_path = Path("yidun/results")IMGSZ = 640 # 模型输入尺寸(导出元数据 imgsz=[640,640])
rmodel = YOLO(REGION_MODEL_PATH)cmodel = YOLO(CLASSIFY_MODEL_PATH, task="classify") # ONNX 丢失任务信息,必须显式指定 task
def get_sort_coords(target_front:str, img_path: Path): results = rmodel(img_path.as_posix()) # run inference
# Access the results for result in results: # respath = Path(result_path, img.name) # result.save(respath.as_posix()) # xywh: 中心点坐标 + 宽高(像素单位,左上角为原点) xywh = result.boxes.xywh.tolist() xyxy = result.boxes.xyxy.cpu().numpy() # [[x1,y1,x2,y2], ...] names = [result.names[cls.item()] for cls in result.boxes.cls.int()] confs = result.boxes.conf.cpu().numpy()
coords = [] im = Image.open(img_path) for i, (name, conf, center, box) in enumerate(zip(names, confs, xywh, xyxy)): cx, cy, w, h = center x1, y1, x2, y2 = box # 区块图像 crop = im.crop((x1, y1, x2, y2)) # save_path = letter_path / f"{img.stem}_{i}_{name}_{conf:.2f}.jpg" # crop.save(save_path) # 对图像分类 results1 = cmodel(crop, imgsz=IMGSZ, verbose=False) res = results1[0] probs = res.probs # 分类结果的概率对象
# 获取所有类别名称字典 {0: 'cat', 1: 'dog', ...} names = res.names
# probs.top5 返回置信度最高的5个类别索引(已按降序排列) # probs.top5conf 返回对应的置信度 top_indices = probs.top5 # 前5个类别的索引 top_confs = probs.top5conf.tolist() # 前5个类别的置信度
# 组成一个 (name, conf) 的元祖列表 top5_res = [ (names[idx], float(conf)) for idx, conf in zip(top_indices, top_confs) ]
# print(top5_res)
print(f"[{i}/{len(names)}] {img_path.name} -> {top5_res[0][0]} ({top5_res[0][1] * 100:.2f}%) -> ({cx},{cy})") coords.append((top5_res[0][0], (cx, cy)))
def find_coord(front): for front1, coord in coords: if front == front1: return coord raise ValueError(f"模型未找到 {front}") target_coords = [find_coord(front) for front in list(target_front)] print(target_coords) return target_coords
if __name__ == "__main__": # get_sort_coords("安元全", Path("yidun/c9d292dd6fc04cf18e3566ca3e42ff70.jpg")) get_sort_coords("扩来全", Path("yidun/e60064b3e2884119b2236b2fb93fbba3.jpg"))
整合整个流程测试通过,成功获取Validate值。

方向二:相似度模型
https://github.com/bubbliiiing/Siamese-pytorch
Siamese-pytorch 项目要在环境torch==1.2.0下运行,查了下这个包最高支持是Python3.7版本,然后Python3.7安装包已经在官网下不到了,只有源码自己编译
不过还有镜像站有安装包:https://mirrors.aliyun.com/python-release/macos/
太老了,干脆直接使用AI直接将项目升级了一下,兼容了最新的Python3.10+版本,并微调了一下。项目:https://github.com/tiamix/Siamese-pytorch 分支:upgrade/python-3.14-uv-mps
训练测试结果如下,理想情况下应该是一条从左上角到右下角的绿色高相似度的线。然后其余都是红色的低相似度。
感觉应该还是分类数量太少了,只有10类,效果总不是很好。
训练用的和测试用的都是这10个字的图片,但是测试的图片没有包入在训练中。

参考了一个其他项目的训练集,有1800左右的分类数量。 https://github.com/2833844911/dianxuan
然后我抽了其中100个分类数量的数量集重新训练,测试使用的10个新分类,结果相对好很多了。
但是是训练太慢了,这训练了180左右Epoch,就用了三四个小时。

图标点选
网易图标点选的图类似如下形式,目标顺序与点击背景图在一张图上。且是固定的形式,就可以固定裁剪下来,第一行就是点击顺序。
其图标样式也不会无限多,只会限定在一定数量范围内,这样做分类模型准确率很有优势,只是分类有点多的话,标注比较麻烦。

或者就是使用相似度模型,逐一对比目标图相似度,找最相似度最高的
语序点选
相比文字点选中的文字,干扰没有那么严重,识别出文字会容易很多。
PaddleOCR: https://aistudio.baidu.com/paddleocr/task/file/t-1351f76f5229

针对少量文本识别: https://github.com/GitYCC/crnn-pytorch
识别到正确文字后如何获取正确的语序呢。
针对语序还原纠错有 https://github.com/shibing624/pycorrector
实际测试下来,针对类似”山如泰稳“ => “稳如泰山“,这种形式的纠错或者重组正确率很差。
或者还可以直接使用向LLM大模型提问的方式。
但是针对通常都是4字成语,且反复都是那几个成语,这样就很简单了,甚至都不要语序模型。直接收集所有的正确的成语集,然后判断识别出的文字属于哪个成语,再获取其序位。
最后就是常见的这三类点选验证码,都是需要一个有序坐标数组,只是获取的方式不太一样。