Gated DeltaNet-2: Desacoplando Borrar y Escribir en Atención Lineal

Resumen del corpus

Se presenta Gated DeltaNet-2, un modelo que generaliza Gated DeltaNet y KDA al separar los roles de borrar y escribir en atención lineal. Este modelo aborda la limitación del vínculo escalar entre estas operaciones mediante compuertas separadas para el borrado y la escritura a lo largo del canal. Logra los mejores resultados en benchmarks de modelado de lenguaje y razonamiento, destacando su rendimiento en contextos de largo alcance.