微调预训练的语言模型，用于少量的意图检测。有监督的预训练和同位素化

在只有少量注释的情况下，为一个面向任务的对话系统训练一个好的意图分类器是很有挑战性的。最近的研究表明，以监督的方式，用来自公共基准的少量标记的语料对预训练的语言模型进行微调是非常有帮助的。然而，我们发现，有监督的预训练会产生一个各向异性的特征空间，这可能会抑制语义表征的表达能力。受最近的各向同性研究的启发，我们建议通过对各向同性的特征空间进行正则化来改善监督预训练。我们提出了两个分别基于对比学习和相关矩阵的正则器，并通过大量实验证明了它们的有效性。我们的主要发现是，用各向同性的方法对监督性预训练进行正则化，以进一步提高几张照片的意图检测的性能是有希望的。源代码可以在这个https网址上找到。