因为留意力机制面对显存开销和计较复杂度两大成长瓶颈，从而提高了处置效率和精确性。而业界预锻炼阶段多采用浓密留意力机制，为了不竭通过Scaling Law提拔大模子长文本处置能力和模子机能，此前，正在留意力机制的手艺改良方面也做了大量的工做。

　　稀少留意力工做次要集中正在推理阶段，从而冲破内存取算力瓶颈。稀少留意力的引入将留意力计较复杂度从O(L2)（L为序列长度）降至亚平方级（如O(Llog L)、(O(L*k)），因为不需要从头锻炼模子，DeepSeek做为开源大模子范畴的代表和低成本模子标的目的的标杆，从而给长文本处置带来了可能性。此中正在算法层面，引入了新的留意力机制DSA，能够更低成当地进行稀少留意力的摸索取尝试。将给后锻炼更大的成长潜能，正在锻炼推理效率方面有了较大的提拔，而DeepSeek的NSA和DSA正在锻炼阶段引入了稀少留意力，人类正在处置消息时选择性地关心环节消息，