Transformer是一种基于注意力机制的神经网络，能够处理序列化数据，充分建模数据之间的依赖关系。Transformer包含一个编码器和一个解码器，编码器对输入序列进行处理，解码器将编码的输入序列转换为输出序列，一个典型的例子是将输入的一种语言的句子翻译为其他语言。与RNN序列化处理输入数据不同，Transformer并行地处理输入序列。
本实验将利用Transformer模型来实现正弦波预测。