Gated DeltaNet: гибридная архитектура нейронных сетей с управлением памятью.

Gated DeltaNet – экспериментальная архитектура, разработанная NVIDIA для управления памятью в контексте линейных трансформеров, которая может решить проблемы с забыванием в моделях, обрабатывающих длинные последовательности данных. Gated DeltaNet предлагает использовать…