历史相关的编码

RL算法选择Mueslie，输入为一个历史相关的编码（history-dependent encoding），输出为RNN或Transformer，AdA学习一个序列模型（LSTM）对后续多步预测价值、行动分布和奖励。