Sprachmodelle haben in den letzten Jahren rasante Fortschritte gemacht, wobei auf Transformer-basierten Architekturen basierende Modelle in der natürlichen Sprachverarbeitung führend sind. Mit zunehmender Skalierung der Modelle sind jedoch die Herausforderungen bei der Verarbeitung langer Kontexte, der Speichereffizienz und der Durchsatzrate ...