richman-test

Preset 指令

无可变参数

python3 autotest.py [--dir dir_xxx] [...]

使用 --help 查看所有支持的输入参数

使用 python3.6 即可，需安装的库详见 requirements.txt。

脚本以 dir_xxx 作为根目录，然后识别目录下是否有 config.json

key	value
name	测试组名称，省略时即为文件夹名
maxlevel	最大检测级别，默认为 1000
import	数组，每个元素为需要递归的目录(会忽略非法目录)
case	数组，每个元素为二元组 (path, level)，表示路径和对应的level

json 中的 import 会作为新的根目录进行递归查找，直到收集到所有的测试样例。

脚本运行时，.in 重定向至 stdin，从 stderr 检测 dump 输出。

输出到 stderr 的 C++/C 代码如下：

// c++ #include<iostream>
std::cerr << "error" << 1 << std::endl;

// c #include<stdio.h>
fprintf(stderr, "error %d\n", 1);

脚本会从错误流中检测 CAPTURE_CMD 中指定的命令为开头的行，也就是说其它的错误提示只要避开 CAPTURE_CMD 中字段就会被忽略。

dump 与期望输出的比较规则：忽略大小写，两者各行内容对应相同但不论顺序，忽略空行和以 # 引导的注释内容。