URL: http://proceedings.mlr.press/v80/lake18a.html https://github.com/brendenlake/SCAN

TL;DR

ICML 2018 一个测试AI能根据结构，理解零样本新指令的数据集，类似于迁移学习的dax。

Dataset

数据集由对应序列组成，输入是一些简单的有一定格式的命令，输出是做动作的序列。 所使用的词组 fig1

Algorithm/Model

论文是用这种数据测试RNN的泛化能力。 fig2

Experiment Detail

本文介绍了一些测试泛化能力的数据集划分方法。 随机子集作为基线; 训练集短(<22)而测试集长(24~48); 训练集只包含部分命令及其组合，而测试集包含所有命令及其组合;

作者还提到了在机器翻译方面泛化能力测试的一种方法。 即加入一个新的词和一个句式(重复1000次)重新训练网络，在测试集中则加入这个新词的其他句式。

Thoughts

这可以看作是文本或序列模型的dax实验。 在文本模型中，词表的变化会引起网络维度的变化，需要重新训练，无法提供很好的零样本环境。