1 介绍
- 提供了两个针对每个用户ID的评估函数，calc_geobleu() 和 calc_dtw()
- 这两个函数接受基于用户ID的生成轨迹和参考轨迹作为参数，并分别给出 GEO-BLEU 的相似度值和 DTW 的距离值
- 轨迹是由元组列表组成的，每个元组表示 (d, t, x, y) 或 (uid, d, t, x, y)，并且在每个步骤中生成的和参考的日期和时间值必须相同
- 在内部，这两个函数按天评估轨迹，并返回多天的平均值
- 任务的最终得分将是所有用户ID上这些函数输出的平均值
- 一般来说，任务的 GEO-BLEU 分数可能非常小，可能在 10^-3 或 10^-4 的数量级，因为计算涉及到取负输入值的指数项
- 对于 GEO-BLEU 的超参数，我们使用 N = 3（使用一元、二元和三元），w_n = 1/3（修改后的精度用等权重几何平均），和 beta = 0.5（使得当两点间距离为 1 公里时，两点的接近度为 e^-1）
- 对于 DTW，我们将 1 公里作为单位长度，将用单元格坐标计算出的距离内部除以 2
- 比如我原来(0,0)和(0,1)之间的距离是1，现在是0.5【相当于两个grid之间的平均距离】
2 使用
import geobleu# tuple format: (d, t, x, y)
generated = [(60, 12, 84, 88),(60, 15, 114, 78),(60, 21, 121, 96),(61, 12, 78, 86),(61, 13, 89, 67),(61, 17, 97, 70),(61, 20, 96, 70),(61, 24, 111, 80),(61, 25, 114, 78),(61, 26, 99, 70),(61, 38, 77, 86),(62, 12, 77, 86),(62, 14, 102, 129),(62, 15, 104, 131),(62, 17, 106, 131),(62, 18, 104, 110)]reference = [(60, 12, 82, 93),(60, 15, 114, 78),(60, 21, 116, 96),(61, 12, 82, 84),(61, 13, 89, 67),(61, 17, 97, 70),(61, 20, 91, 67),(61, 24, 109, 82),(61, 25, 110, 78),(61, 26, 99, 70),(61, 38, 77, 86),(62, 12, 77, 86),(62, 14, 97, 125),(62, 15, 104, 131),(62, 17, 106, 131),(62, 18, 103, 111)]geobleu_val = geobleu.calc_geobleu(generated, reference, processes=3)
print("geobleu: {}".format(geobleu_val))dtw_val = geobleu.calc_dtw(generated, reference, processes=3)
print("dtw: {}".format(dtw_val))# geobleu: 0.21733678721880598
# dtw: 5.889002930255253
3 【针对Humob】
- 使用validator.py 来检查您的提交文件是否符合任务要求
- 假设任务 B 的训练数据解压后位于 foo/task_b_dataset.csv，而任务 B 提交文件在压缩前位于 bar/baz_task_b_humob.csv，命令将是：
python3 validator.py b foo/task_b_dataset.csv bar/baz_task_b_humob.csv
