248 lines
10 KiB
Bash
248 lines
10 KiB
Bash
#!/bin/bash
|
|
|
|
# run_vm_tests.sh - 用于在 RISC-V 虚拟机内部汇编、链接和测试 SysY 程序的脚本
|
|
# 此脚本应位于您的项目根目录 (例如 /home/ubuntu/debug)
|
|
# 假设当前运行环境已经是 RISC-V 64 位架构，可以直接执行编译后的程序。
|
|
# 脚本的目录结构应该为：
|
|
# .
|
|
# ├── runit.sh
|
|
# ├── lib
|
|
# │ └── libsysy_riscv.a
|
|
# └── testdata
|
|
# ├── functional
|
|
# └── performance
|
|
|
|
# 定义相对于脚本位置的目录
|
|
SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" &>/dev/null && pwd)"
|
|
TMP_DIR="${SCRIPT_DIR}/tmp"
|
|
LIB_DIR="${SCRIPT_DIR}/lib"
|
|
TESTDATA_DIR="${SCRIPT_DIR}/testdata"
|
|
|
|
# 定义编译器 (这里假设 gcc 在 VM 内部是可用的)
|
|
GCC_NATIVE="gcc" # VM 内部的 gcc
|
|
|
|
# --- 新增功能: 初始化变量 ---
|
|
TIMEOUT_SECONDS=5 # 默认运行时超时时间为 5 秒
|
|
COMPILE_TIMEOUT_SECONDS=10 # 默认编译超时时间为 10 秒
|
|
TOTAL_CASES=0
|
|
PASSED_CASES=0
|
|
|
|
# 显示帮助信息的函数
|
|
show_help() {
|
|
echo "用法: $0 [选项]"
|
|
echo "此脚本用于在 RISC-V 虚拟机内部，对之前生成的 .s 汇编文件进行汇编、链接和测试。"
|
|
echo "假设当前运行环境已经是 RISC-V 64 位架构，可以直接执行编译后的程序。"
|
|
echo ""
|
|
echo "选项:"
|
|
echo " -c, --clean 清理 'tmp' 目录下的所有生成文件。"
|
|
echo " -t, --timeout N 设置每个测试用例的运行时超时为 N 秒 (默认: 5)。"
|
|
echo " -ct, --compile-timeout M 设置 gcc 编译的超时时间为 M 秒 (默认: 10)。"
|
|
echo " -h, --help 显示此帮助信息并退出。"
|
|
echo ""
|
|
echo "执行步骤:"
|
|
echo "1. 遍历 'tmp/' 目录下的所有 .s 汇编文件。"
|
|
echo "2. 在指定的超时时间内使用 VM 内部的 gcc 将 .s 文件汇编并链接为可执行文件。"
|
|
echo "3. 在指定的超时时间内运行编译后的可执行文件。"
|
|
echo "4. 根据对应的 .out 文件内容进行返回值和/或标准输出的比较。"
|
|
echo "5. 输出比较时会忽略行尾多余的换行符。"
|
|
echo "6. 所有测试结束后，报告总通过率。"
|
|
}
|
|
|
|
# 清理临时文件的函数
|
|
clean_tmp() {
|
|
echo "正在清理临时目录: ${TMP_DIR}"
|
|
rm -rf "${TMP_DIR}"/*.s \
|
|
"${TMP_DIR}"/*_sysyc_riscv64 \
|
|
"${TMP_DIR}"/*_sysyc_riscv64.actual_out \
|
|
"${TMP_DIR}"/*_sysyc_riscv64.expected_stdout \
|
|
"${TMP_DIR}"/*_sysyc_riscv64.o
|
|
echo "清理完成。"
|
|
}
|
|
|
|
# 如果临时目录不存在，则创建它
|
|
mkdir -p "${TMP_DIR}"
|
|
|
|
# 解析命令行参数
|
|
while [[ "$#" -gt 0 ]]; do
|
|
case "$1" in
|
|
-c|--clean)
|
|
clean_tmp
|
|
exit 0
|
|
;;
|
|
-t|--timeout)
|
|
if [[ -n "$2" && "$2" =~ ^[0-9]+$ ]]; then
|
|
TIMEOUT_SECONDS="$2"
|
|
shift # 移过参数值
|
|
else
|
|
echo "错误: --timeout 需要一个正整数参数。" >&2
|
|
exit 1
|
|
fi
|
|
;;
|
|
-ct|--compile-timeout)
|
|
if [[ -n "$2" && "$2" =~ ^[0-9]+$ ]]; then
|
|
COMPILE_TIMEOUT_SECONDS="$2"
|
|
shift # 移过参数值
|
|
else
|
|
echo "错误: --compile-timeout 需要一个正整数参数。" >&2
|
|
exit 1
|
|
fi
|
|
;;
|
|
-h|--help)
|
|
show_help
|
|
exit 0
|
|
;;
|
|
*)
|
|
echo "未知选项: $1"
|
|
show_help
|
|
exit 1
|
|
;;
|
|
esac
|
|
shift # 移过参数名
|
|
done
|
|
|
|
echo "SysY VM 内部测试运行器启动..."
|
|
echo "编译超时设置为: ${COMPILE_TIMEOUT_SECONDS} 秒"
|
|
echo "运行时超时设置为: ${TIMEOUT_SECONDS} 秒"
|
|
echo "汇编文件目录: ${TMP_DIR}"
|
|
echo "库文件目录: ${LIB_DIR}"
|
|
echo "测试数据目录: ${TESTDATA_DIR}"
|
|
echo ""
|
|
|
|
# 查找 tmp 目录下的所有 .s 汇编文件
|
|
s_files=$(find "${TMP_DIR}" -maxdepth 1 -name "*.s")
|
|
TOTAL_CASES=$(echo "$s_files" | wc -w)
|
|
|
|
# 遍历找到的每个 .s 文件
|
|
echo "$s_files" | while read s_file; do
|
|
# --- 新增功能: 初始化用例通过状态 ---
|
|
is_passed=1 # 1 表示通过, 0 表示失败
|
|
|
|
# 从 .s 文件名中提取原始的测试用例名称部分
|
|
base_name_from_s_file=$(basename "$s_file" .s)
|
|
original_test_name_underscored=$(echo "$base_name_from_s_file" | sed 's/_sysyc_riscv64$//')
|
|
|
|
# 将 `original_test_name_underscored` 分割成类别和文件名
|
|
category=$(echo "$original_test_name_underscored" | cut -d'_' -f1)
|
|
test_file_base=$(echo "$original_test_name_underscored" | cut -d'_' -f2-)
|
|
original_relative_path="${category}/${test_file_base}"
|
|
|
|
# 定义可执行文件、输入文件、参考输出文件和实际输出文件的路径
|
|
executable_file="${TMP_DIR}/${base_name_from_s_file}"
|
|
input_file="${TESTDATA_DIR}/${original_relative_path}.in"
|
|
output_reference_file="${TESTDATA_DIR}/${original_relative_path}.out"
|
|
output_actual_file="${TMP_DIR}/${base_name_from_s_file}.actual_out"
|
|
|
|
echo "正在处理汇编文件: $(basename "$s_file")"
|
|
echo " 对应的测试用例路径: ${original_relative_path}"
|
|
|
|
# 步骤 1: 使用 VM 内部的 gcc 编译 .s 到可执行文件
|
|
echo " 使用 gcc 汇编并链接 (超时 ${COMPILE_TIMEOUT_SECONDS}s)..."
|
|
# --- 修改点: 为 gcc 增加 timeout ---
|
|
timeout ${COMPILE_TIMEOUT_SECONDS} "${GCC_NATIVE}" "${s_file}" -o "${executable_file}" -L"${LIB_DIR}" -lsysy_riscv -static -g
|
|
GCC_STATUS=$?
|
|
if [ $GCC_STATUS -eq 124 ]; then
|
|
echo -e "\e[31m错误: GCC 编译/链接 ${s_file} 超时 (超过 ${COMPILE_TIMEOUT_SECONDS} 秒)\e[0m"
|
|
is_passed=0
|
|
elif [ $GCC_STATUS -ne 0 ]; then
|
|
echo -e "\e[31m错误: GCC 汇编/链接 ${s_file} 失败，退出码: ${GCC_STATUS}\e[0m"
|
|
is_passed=0
|
|
else
|
|
echo " 生成的可执行文件: ${executable_file}"
|
|
echo " 正在执行 (超时 ${TIMEOUT_SECONDS}s): \"${executable_file}\""
|
|
|
|
# 步骤 2: 执行编译后的文件并比较/报告结果
|
|
if [ -f "${output_reference_file}" ]; then
|
|
LAST_LINE_TRIMMED=$(tail -n 1 "${output_reference_file}" | tr -d '[:space:]')
|
|
|
|
if [[ "$LAST_LINE_TRIMMED" =~ ^[-+]?[0-9]+$ ]]; then
|
|
EXPECTED_RETURN_CODE="$LAST_LINE_TRIMMED"
|
|
EXPECTED_STDOUT_FILE="${TMP_DIR}/${base_name_from_s_file}.expected_stdout"
|
|
head -n -1 "${output_reference_file}" > "${EXPECTED_STDOUT_FILE}"
|
|
echo " 检测到 .out 文件同时包含标准输出和期望的返回码。"
|
|
echo " 期望返回码: ${EXPECTED_RETURN_CODE}"
|
|
|
|
if [ -f "${input_file}" ]; then
|
|
timeout ${TIMEOUT_SECONDS} "${executable_file}" < "${input_file}" > "${output_actual_file}"
|
|
else
|
|
timeout ${TIMEOUT_SECONDS} "${executable_file}" > "${output_actual_file}"
|
|
fi
|
|
ACTUAL_RETURN_CODE=$?
|
|
|
|
if [ "$ACTUAL_RETURN_CODE" -eq 124 ]; then
|
|
echo -e "\e[31m 执行超时: ${original_relative_path}.sy 运行超过 ${TIMEOUT_SECONDS} 秒\e[0m"
|
|
is_passed=0
|
|
else
|
|
if [ "$ACTUAL_RETURN_CODE" -eq "$EXPECTED_RETURN_CODE" ]; then
|
|
echo -e "\e[32m 返回码测试成功: (${ACTUAL_RETURN_CODE}) 与期望值 (${EXPECTED_RETURN_CODE}) 匹配\e[0m"
|
|
else
|
|
echo -e "\e[31m 返回码测试失败: 期望: ${EXPECTED_RETURN_CODE}, 实际: ${ACTUAL_RETURN_CODE}\e[0m"
|
|
is_passed=0
|
|
fi
|
|
|
|
if diff -q <(sed ':a;N;$!ba;s/\n*$//' "${output_actual_file}") <(sed ':a;N;$!ba;s/\n*$//' "${EXPECTED_STDOUT_FILE}") >/dev/null 2>&1; then
|
|
echo -e "\e[32m 标准输出测试成功\e[0m"
|
|
else
|
|
echo -e "\e[31m 标准输出测试失败\e[0m"
|
|
echo " 差异:"
|
|
diff "${output_actual_file}" "${EXPECTED_STDOUT_FILE}"
|
|
is_passed=0
|
|
fi
|
|
fi
|
|
else
|
|
echo " 检测到 .out 文件为纯标准输出参考。"
|
|
if [ -f "${input_file}" ]; then
|
|
timeout ${TIMEOUT_SECONDS} "${executable_file}" < "${input_file}" > "${output_actual_file}"
|
|
else
|
|
timeout ${TIMEOUT_SECONDS} "${executable_file}" > "${output_actual_file}"
|
|
fi
|
|
EXEC_STATUS=$?
|
|
|
|
if [ $EXEC_STATUS -eq 124 ]; then
|
|
echo -e "\e[31m 执行超时: ${original_relative_path}.sy 运行超过 ${TIMEOUT_SECONDS} 秒\e[0m"
|
|
is_passed=0
|
|
else
|
|
if [ $EXEC_STATUS -ne 0 ]; then
|
|
echo -e "\e[33m警告: 程序以非零状态 ${EXEC_STATUS} 退出 (纯输出比较模式)。\e[0m"
|
|
fi
|
|
if diff -q <(sed ':a;N;$!ba;s/\n*$//' "${output_actual_file}") <(sed ':a;N;$!ba;s/\n*$//' "${output_reference_file}") >/dev/null 2>&1; then
|
|
echo -e "\e[32m 成功: 输出与参考输出匹配\e[0m"
|
|
else
|
|
echo -e "\e[31m 失败: 输出不匹配\e[0m"
|
|
echo " 差异:"
|
|
diff "${output_actual_file}" "${output_reference_file}"
|
|
is_passed=0
|
|
fi
|
|
fi
|
|
fi
|
|
else
|
|
echo " 未找到 .out 文件。正在运行并报告返回码。"
|
|
timeout ${TIMEOUT_SECONDS} "${executable_file}"
|
|
EXEC_STATUS=$?
|
|
if [ $EXEC_STATUS -eq 124 ]; then
|
|
echo -e "\e[31m 执行超时: ${original_relative_path}.sy 运行超过 ${TIMEOUT_SECONDS} 秒\e[0m"
|
|
is_passed=0
|
|
else
|
|
echo " ${original_relative_path}.sy 的返回码: ${EXEC_STATUS}"
|
|
fi
|
|
fi
|
|
fi
|
|
|
|
# --- 新增功能: 更新通过用例计数 ---
|
|
if [ "$is_passed" -eq 1 ]; then
|
|
((PASSED_CASES++))
|
|
fi
|
|
echo "" # 为测试用例之间添加一个空行
|
|
done
|
|
|
|
# --- 新增功能: 打印最终总结 ---
|
|
echo "========================================"
|
|
echo "测试完成"
|
|
echo "测试通过率: [${PASSED_CASES}/${TOTAL_CASES}]"
|
|
echo "========================================"
|
|
|
|
if [ "$PASSED_CASES" -eq "$TOTAL_CASES" ]; then
|
|
exit 0
|
|
else
|
|
exit 1
|
|
fi
|