On Multiplicative Integration with Recurrent Neural Networks
这篇论文提出一个在CAPs模型提出的文章中使用的Multiplicative Integration RNN(LSTM, GRU)
本质公式就是
其中表示的是相同形状的矩阵之间的元素对应乘积，称为Hadamard product。
直觉是促进了两个信息源的信息交流，同时优化的梯度流通,这个在时序模型中较为重要。
这个github repo提供了keras的执行。
具体公式的替换如下:
