3924 字
20 分钟
网易易盾-文字点选

demo: https://dun.163.com/trial/picture-click

文字点选验证码

1. 分析响应:目标文字按序明文返回的,一张背景图 2. 如何定位背景图的文字,并按顺序点击文字呢。可以通过yolo自行训练识别图中的文字位置,然后OCR识别文字内容,最后依据目标文字排序定位。参考:[https://www.52pojie.cn/thread-1888314-1-1.html](https://www.52pojie.cn/thread-1888314-1-1.html) 3. 所以需要准备一些验证码样例图片用于训练。

分析刷新获取图片的接口:https://c.dun.163.com/api/v3/get

参数值变化参数有callback、cb、irToken、token四个。

irToken为接口https://ir-sdk.dun.163.com/v4/j/up下发的tk值,

token由接口/api/v3/get上一次下发返回,第一次值为空

其余没找到。

https://cstaticdun.126.net/2.28.5/core-optimi.m25b40.v2.28.5.min.js?v=2977650

https://cstaticdun.126.net/2.28.5/core-optimi.m25b40.v2.28.5.min.js?v=2977666

关键业务JS每次回携带一个v参数, 且间隔1分钟就变化,主要目的是打破浏览器缓存,让浏览器每次加载最新的JS,但是这会导致旧的JS断点分析进度失效。所以直接把这一行删掉,不携带这个变化的参数。 image.png

然后简单的用AST解混淆一下,把数组混淆的解码函数提出来,替换所有通过解码器间接访问的节点。然后解混淆的JS替换到网页,检查是否能正常运行。

import { parse } from "@babel/parser";
import { generate } from "@babel/generator";
import * as t from "@babel/types";
import traverse from "@babel/traverse";
import type { Binding } from '@babel/traverse'
import fs from "fs";
const inputPath = "yidun/core-optimi.m25b40.v2.28.5.min.js";
const sourceCode = fs.readFileSync(inputPath, "utf8");
const ast = parse(sourceCode, { sourceType: "script" });
// #region 解码器,取自混淆JS头部
var a0_0x3d6e = ['doIJY3r0CJ', 'tow5YSs']; // 这里是一个超级大字符串数组,太长了删了些
function a0_0x1e60(_0x3d6ee5, _0x1e6084) {
_0x3d6ee5 = _0x3d6ee5 - 0x0;
var _0x4bdd0c = a0_0x3d6e[_0x3d6ee5];
if (a0_0x1e60['lInzJz'] === undefined) {
var _0xeb4e91 = function (_0x2acaa9) {
var _0xcc8b64 = 'kyclmxfigrhbswquanzevpjotdKYCLMXFIGRHBSWQUANZEVPJOTD0123456789+/=';
var _0x2a66d7 = '';
for (var _0x1fc777 = 0x0, _0x1d758e, _0x48c2de, _0x4ca6b8 = 0x0; _0x48c2de = _0x2acaa9['charAt'](_0x4ca6b8++); ~_0x48c2de && (_0x1d758e = _0x1fc777 % 0x4 ? _0x1d758e * 0x40 + _0x48c2de : _0x48c2de, _0x1fc777++ % 0x4) ? _0x2a66d7 += String['fromCharCode'](0xff & _0x1d758e >> (-0x2 * _0x1fc777 & 0x6)) : 0x0) {
_0x48c2de = _0xcc8b64['indexOf'](_0x48c2de);
}
return _0x2a66d7;
};
a0_0x1e60['gtHdNm'] = function (_0x45b013) {
var _0xf4006c = _0xeb4e91(_0x45b013);
var _0x2971cd = [];
for (var _0x45b530 = 0x0, _0x47f17f = _0xf4006c['length']; _0x45b530 < _0x47f17f; _0x45b530++) {
_0x2971cd += '%' + ('00' + _0xf4006c['charCodeAt'](_0x45b530)['toString'](0x10))['slice'](-0x2);
}
return decodeURIComponent(_0x2971cd);
}, a0_0x1e60['UnDJmF'] = {}, a0_0x1e60['lInzJz'] = !![];
}
var _0x43ffbb = a0_0x3d6e[0x0],
_0x146451 = _0x3d6ee5 + _0x43ffbb,
_0x4092f6 = a0_0x1e60['UnDJmF'][_0x146451];
return _0x4092f6 === undefined ? (_0x4bdd0c = a0_0x1e60['gtHdNm'](_0x4bdd0c), a0_0x1e60['UnDJmF'][_0x146451] = _0x4bdd0c) : _0x4bdd0c = _0x4092f6, _0x4bdd0c;
}
// #endregion
traverse(ast, {
// 解码器解码
CallExpression(path) {
if (path.node.callee.name == "a0_0x1e60") {
path.replaceWith(t.stringLiteral(eval(path.toString())));
}
},
// 三元表达式转if
ConditionalExpression(path){
},
// 逗号表达式拆分
SequenceExpression(path){
},
// 计算表达式
BinaryExpression(path){
try {
const evaluated = path.evaluate()
if(evaluated.confident){
path.replaceWith(t.valueToNode(evaluated.value))
}
} catch (error) {
// Handle evaluation errors if necessary
}
}
})
let f = 0, v = 0;
traverse(ast, {
// 重命名
// Identifier(path) {
// // 函数定义,函数表达式,箭头函数
// if (t.isFunctionDeclaration(path.parent) || t.isFunctionExpression(path.parent) || t.isArrowFunctionExpression(path.parent)) {
// // 判断是参数还是函数名
// if (path.key == 'id') {
// path.scope.rename(path.node.name, `f${f++}`);
// }
// if (path.listKey == 'params') {
// path.scope.rename(path.node.name, `p${path.key}`);
// }
// }
// if (t.isVariableDeclarator(path.parent)) {
// path.scope.rename(path.node.name, `v${v++}`);
// }
// },
"StringLiteral|NumericLiteral"(path) {
// 去除转义
delete path.node.extra
},
// 对象访问形式,点式访问
// MemberExpression(path) {
// if (t.isStringLiteral(path.node.property)) {
// const object = path.node.object.name
// if (typeof object !== 'string') return;
// const property = path.node.property.value
// if (typeof property !== 'string') return;
// // 判断是否是合法的标识符, 比如"enter-class" 只能用["enter-class"]访问,不能用点式访问
// if (!/^[a-zA-Z_$][a-zA-Z0-9_$]*$/.test(property)) return;
// // 替换为点式访问节点
// path.replaceWith(
// t.memberExpression(
// t.identifier(object),
// t.identifier(property),
// false // computed = false 表示用点访问
// )
// )
// }
// }
});
console.log("AST transformation completed. Generating output...");
const output = generate(ast, {});
fs.writeFileSync("yidun/output.js", output.code);

先看cb参数的生成,第一层逻辑大致是生成一个随机数uuid,然后对其中pos位置的字符替换为code中的字符。 image.png

第二层就比较复杂了,主要逻辑是将第一层生成的key转为一个68位数组,与另一个固定的seed_key和随机生成的种子,再组成一个68位数组,最后这两个经过一系列位运算后,经过一个自定义base64得到最终的cb值。这里一层一层慢慢扣算法(费头发)。 image.png

callback这个参数一半不会涉及加密什么的,不过还是看了一下,最后序号标记了请求的次数。第一次为0,后续每次刷新验证码+1 image.png

然后继续分析前置接口up,有两个参数n、d是每次更改的。

但是由于这两个都是单字符,搜索结果过多,可以尝试搜索有个vk的参数,即可快速定位。 image.png

参数三个t,o,f在同一次环境下是三个固定值,固定的数组。 刷新网页后更改部分,猜测可能是浏览器环境相关的值,应该可以短暂固定,测试跑了30多次后挂掉了。加了请求频率限制好一些。 然后这里的算法有部分与cb生成算法类似,就直接将相关代码丢给AI还原了。 image.png

分析https://c.dun.163.com/api/v3/check接口,也是token,data,cb,callback4个参数。 其中token标识某一次的验证码,cb, callback已还原,只剩data,data是个对象,有d,m,p,ext四个参数,除d的值为空之外,其余都需要还原。 验证通过后会下发一个validate,然后需要验证的接口需要携带该参数向服务器访问才能放行。

{
"result": true,
"zoneId": "CN31",
"token": "2106f759327b45cbbbf8ce214d020717",
"validate": "8gxMgwjCs36ABQyKiWXApPYj4qmeePZtNacdk+33/pWyyVk9xmp6Fe6etQ75HC/G/p4SqUksSPlt8+SstaDC3Eve43eTujSRtRjRkjwxQHqMbEM++Pct5xXuD49zgPX7H+NxbC4Ey8lWFQEpxlIQoqeVbTfQ69Hz0Ew+61AU5i8="
}

定位的话比较简单,一搜就有了;比较多就都打上断点,看发请求的时候走哪里。 简单看一下猜测m应该是轨迹相关,p应该是点击坐标,ext是绑定的一致性参数。 Snapzy_2026-08-15_13-23-53_330.png

m是一个大字符串数组,字符串在push前被加密。 一个坐标在被加密前的格式如下,

背景图位置 left=722.5, top=16.5
math.round(x-left),math.round(y-top),(now-begin_time),0

将每个位置的坐标绑定token参与位运算后,进行自定义base64。这样所有坐标被加密为一个字符串,从中等距采样50个数组,拼接合并为一个字符串,再进行最后的加密。 m,p,ext加密算法一致,仅中间处理入参时有细微区别。 Snapzy_2026-08-15_16-14-47_894.png

由于暂时识别获取坐标还没做,只能先断点获取bg的背景图地址,然后替换到网页中的验证码图片,人工点击后获取真实的坐标位置后,再hook注入Python程序中使用,结果验证通过,说明p,m,ext这几个参数加密算法没有问题。目前是模拟了轨迹,但是环境参数还是使用的固定值。 Snapzy_2026-08-16_14-18-29_169.png

Snapzy_2026-08-16_14-15-27_316.png

总结一下整个流程,先是/up接口通过d参数上发验证浏览器环境信息是否安全,/get接口时通过一个由特征码和随机盐加密的cb参数,防止接口被篡改,最后/check接口校验轨迹m,坐标p,以及携带参数ext。

坐标识别#

测试了一下视觉模型识别坐标,对比与实际差距不大。但是其他较小的Qwen-VL模型不太理想,3.8Max成本有点高。 Snapzy_2026-08-16_17-07-39_689.png Snapzy_2026-08-16_17-16-32_397.png

然后图片干扰项比较多,OCR识别文字的准确率较低,如果准确率高的话,还自带识别的坐标信息,就比较简单了。 image.png

基于PaddleOCR做模型训练:https://www.paddleocr.ai/latest/version3.x/pipeline_usage/OCR.html

yolo#

标注时,默认使用右上角的draw模式,可切换为smart模式,点击文字区域会使用已训练的模型智能画框,大部分都挺准的,只有少数,特别是“元”字容易不全,再人工调整就可以了,这样标注效率大幅度提升,100张标注约30分钟。 image.png

由于这次要复杂一些,仅训练了不到一百张图片(懒得标注),效果不是很好,很多不能标注出来。 image.png

新增训练集图片数量到347张后,验证集依旧保持19张。

提升Epoch计划训练次数从100提升到300; 实际训练轮数为226轮后不再有提升停止

base model从yolo26n改为使用更大的yolo26m;

提升效果也很明显,其中干扰比较严重的“元”字也标注了出来。 识别速度也挺快,150张平均都在1ms左右。 image.png

还有实际采集下来,实际用到的文字并不是很多,始终只是那几个字。那么问题就可以从这到底是什么字变为对比这10个字,哪个更相似? 方向一:训练图像每类模型,固定10文字对图像进行分类,就限制10个中最像哪个,更准确。 方向二:训练相似度模型,对象两个图像得到相似度,找相似度最高的(更通用) 相似模型: https://github.com/bubbliiiing/Siamese-pytorch

{'全', '元', '安', '类', '特', '库', '验', '扩', '来', '体'}

方向一: 分类模型#

先根据定位坐标,从图像中裁剪出单个字的图片。 (PS:感觉标注的时候就可以分类属于哪个字了,我统一使用了“文字”类)

from pathlib import Path
from PIL import Image
from ultralytics import YOLO
# https://docs.ultralytics.com/zh/tasks/detect#%E8%AE%AD%E7%BB%83
# 数据标注:https://platform.ultralytics.com/home
# uv add ultralytics onnx onnxruntime
model = YOLO("yidun/model/letter-region-1.onnx")
dir = Path("yidun/imgs")
# 保存标记结果
result_path = Path("yidun/results")
# 保存每个字的结果
letter_path = Path("yidun/letters")
for index,img in enumerate(dir.glob("*.jpg")):
print(index, img)
results = model(img.as_posix()) # run inference
# Access the results
for result in results:
respath = Path(result_path, img.name)
result.save(respath.as_posix())
xyxy = result.boxes.xyxy.cpu().numpy() # [[x1,y1,x2,y2], ...]
names = [result.names[cls.item()] for cls in result.boxes.cls.int()]
confs = result.boxes.conf.cpu().numpy()
im = Image.open(img)
for i, (box, name, conf) in enumerate(zip(xyxy, names, confs)):
x1, y1, x2, y2 = box
crop = im.crop((x1, y1, x2, y2))
save_path = letter_path / f"{img.stem}_{i}_{name}_{conf:.2f}.jpg"
crop.save(save_path)

image.png

使用scikit-learn聚类先进行一遍粗分,再人工纠错,加快标注速度。 参考:https://scikit-learn.org/stable/modules/clustering.html

标注平台新建数据集,切换任务类型Task Type为分类Classification。 但是感觉这个整个图像分类的标注并不好用。然后使用在本地文件夹分类好后,上传一个类的,统一全部标注。 image.png

训练后的测试结果也还比较理想,只有“扩”这个字因倾斜后宽度小尺寸问题无法训练使用,导致数据量只有27张,最后“扩”会识别不太准确。

from pathlib import Path
import shutil
import numpy as np
from ultralytics import YOLO
MODEL_PATH = "yidun/model/letter-classify.onnx" # ONNX 导出的分类模型
SRC_DIR = Path("yidun/letters") # 待分类图片
OUT_DIR = Path("yidun/letter_results") # 结果输出目录
IMGSZ = 640 # 模型输入尺寸(导出元数据 imgsz=[640,640])
def predict(model, img_path: Path):
"""对单张图片做分类,返回 (top1类别, top1置信度, [(类别, 置信度), ...]Top5)"""
results = model(img_path.as_posix(), imgsz=IMGSZ, verbose=False)
r = results[0]
probs = r.probs.data.cpu().numpy() # shape (10,),各类别概率
order = np.argsort(probs)[::-1] # 从高到低排序
top1 = int(order[0])
top1conf = float(probs[top1])
top5 = [(int(i), float(probs[i])) for i in order[:5]]
return r.names[top1], top1conf, top5, r.names
def main():
model = YOLO(MODEL_PATH, task="classify") # ONNX 丢失任务信息,必须显式指定 task
print(f"模型: {MODEL_PATH} task={model.task}")
imgs = list(img for img in SRC_DIR.glob("*.jpg"))
print(f"待分类图片: {len(imgs)} 张 -> {SRC_DIR}")
if not imgs:
print("未找到图片,退出")
return
# 输出目录结构
class_dir = OUT_DIR / "分类"
for i, img in enumerate(imgs, start=1):
char, conf, top5, names = predict(model, img)
# 2) 按预测类别归档原图副本
cls_folder = class_dir / char
cls_folder.mkdir(parents=True, exist_ok=True)
shutil.copy2(img, cls_folder / img.name)
print(f"[{i}/{len(imgs)}] {img.name} -> {char} ({conf * 100:.2f}%)")
# 控制台汇总
print(f"\n{'=' * 40}")
print(f"\n结果已输出到 {OUT_DIR.resolve()}/")
print(" - 分类/ 按预测类别归档的原图")
if __name__ == "__main__":
main()

image.png

简单写个脚本使用两个模型进行识别定位输出测试。(写的有点乱)

对比测试实际的坐标差值,相差不大.

from pathlib import Path
from ultralytics import YOLO
from PIL import Image
# https://docs.ultralytics.com/zh/tasks/detect#%E8%AE%AD%E7%BB%83
# 数据标注:https://platform.ultralytics.com/home
CLASSIFY_MODEL_PATH = "yidun/model/letter-classify.onnx"
# uv add ultralytics onnx onnxruntime
REGION_MODEL_PATH = "yidun/model/letter-region-1.onnx"
dir = Path("yidun/imgs")
# 保存标记结果
result_path = Path("yidun/results")
IMGSZ = 640 # 模型输入尺寸(导出元数据 imgsz=[640,640])
rmodel = YOLO(REGION_MODEL_PATH)
cmodel = YOLO(CLASSIFY_MODEL_PATH, task="classify") # ONNX 丢失任务信息,必须显式指定 task
def get_sort_coords(target_front:str, img_path: Path):
results = rmodel(img_path.as_posix()) # run inference
# Access the results
for result in results:
# respath = Path(result_path, img.name)
# result.save(respath.as_posix())
# xywh: 中心点坐标 + 宽高(像素单位,左上角为原点)
xywh = result.boxes.xywh.tolist()
xyxy = result.boxes.xyxy.cpu().numpy() # [[x1,y1,x2,y2], ...]
names = [result.names[cls.item()] for cls in result.boxes.cls.int()]
confs = result.boxes.conf.cpu().numpy()
coords = []
im = Image.open(img_path)
for i, (name, conf, center, box) in enumerate(zip(names, confs, xywh, xyxy)):
cx, cy, w, h = center
x1, y1, x2, y2 = box
# 区块图像
crop = im.crop((x1, y1, x2, y2))
# save_path = letter_path / f"{img.stem}_{i}_{name}_{conf:.2f}.jpg"
# crop.save(save_path)
# 对图像分类
results1 = cmodel(crop, imgsz=IMGSZ, verbose=False)
res = results1[0]
probs = res.probs # 分类结果的概率对象
# 获取所有类别名称字典 {0: 'cat', 1: 'dog', ...}
names = res.names
# probs.top5 返回置信度最高的5个类别索引(已按降序排列)
# probs.top5conf 返回对应的置信度
top_indices = probs.top5 # 前5个类别的索引
top_confs = probs.top5conf.tolist() # 前5个类别的置信度
# 组成一个 (name, conf) 的元祖列表
top5_res = [
(names[idx], float(conf))
for idx, conf in zip(top_indices, top_confs)
]
# print(top5_res)
print(f"[{i}/{len(names)}] {img_path.name} -> {top5_res[0][0]} ({top5_res[0][1] * 100:.2f}%) -> ({cx},{cy})")
coords.append((top5_res[0][0], (cx, cy)))
def find_coord(front):
for front1, coord in coords:
if front == front1:
return coord
raise ValueError(f"模型未找到 {front}")
target_coords = [find_coord(front) for front in list(target_front)]
print(target_coords)
return target_coords
if __name__ == "__main__":
# get_sort_coords("安元全", Path("yidun/c9d292dd6fc04cf18e3566ca3e42ff70.jpg"))
get_sort_coords("扩来全", Path("yidun/e60064b3e2884119b2236b2fb93fbba3.jpg"))

image.png

整合整个流程测试通过,成功获取Validate值。

image.png

方向二:相似度模型#

https://github.com/bubbliiiing/Siamese-pytorch Siamese-pytorch 项目要在环境torch==1.2.0下运行,查了下这个包最高支持是Python3.7版本,然后Python3.7安装包已经在官网下不到了,只有源码自己编译 不过还有镜像站有安装包:https://mirrors.aliyun.com/python-release/macos/

太老了,干脆直接使用AI直接将项目升级了一下,兼容了最新的Python3.10+版本,并微调了一下。项目:https://github.com/tiamix/Siamese-pytorch 分支:upgrade/python-3.14-uv-mps

训练测试结果如下,理想情况下应该是一条从左上角到右下角的绿色高相似度的线。然后其余都是红色的低相似度。 感觉应该还是分类数量太少了,只有10类,效果总不是很好。 训练用的和测试用的都是这10个字的图片,但是测试的图片没有包入在训练中。 image.png

参考了一个其他项目的训练集,有1800左右的分类数量。 https://github.com/2833844911/dianxuan

然后我抽了其中100个分类数量的数量集重新训练,测试使用的10个新分类,结果相对好很多了。 但是是训练太慢了,这训练了180左右Epoch,就用了三四个小时。 image.png

图标点选#

网易图标点选的图类似如下形式,目标顺序与点击背景图在一张图上。且是固定的形式,就可以固定裁剪下来,第一行就是点击顺序。

其图标样式也不会无限多,只会限定在一定数量范围内,这样做分类模型准确率很有优势,只是分类有点多的话,标注比较麻烦。 image.png

或者就是使用相似度模型,逐一对比目标图相似度,找最相似度最高的

语序点选#

相比文字点选中的文字,干扰没有那么严重,识别出文字会容易很多。

PaddleOCR: https://aistudio.baidu.com/paddleocr/task/file/t-1351f76f5229

image.png

针对少量文本识别: https://github.com/GitYCC/crnn-pytorch

识别到正确文字后如何获取正确的语序呢。

针对语序还原纠错有 https://github.com/shibing624/pycorrector

实际测试下来,针对类似”山如泰稳“ => “稳如泰山“,这种形式的纠错或者重组正确率很差。

针对成语纠错还原:https://d.wanfangdata.com.cn/periodical/CiBQZXJpb2RpY2FsQ0hJU29scjkyMDI2MDcyNzAzMTgxMhIOanNqa3gyMDI1MDUwMjQaCGI0Nmx3cXpi

或者还可以直接使用向LLM大模型提问的方式。

但是针对通常都是4字成语,且反复都是那几个成语,这样就很简单了,甚至都不要语序模型。直接收集所有的正确的成语集,然后判断识别出的文字属于哪个成语,再获取其序位。

最后就是常见的这三类点选验证码,都是需要一个有序坐标数组,只是获取的方式不太一样。

网易易盾-文字点选
https://blog.tiamix.cn/posts/网易易盾/
作者
Tiam
发布于
2026-08-15
许可协议
CC BY-NC-SA 4.0