Cursor 团队发布秒出 1000token 模型

基于深度学习的编程工具cursor及其70B模型Llama3的加速研究取得重大突破

近日，cursor背后的anysphere团队宣布，通过对Llama3模型进行微调和引入全新的推理加速算法，成功使其在代码改写任务上的速度提高了近13倍。该研究成果表明， cursor已经实现了近乎即时的完整代码文件编辑，为编程界带来革命性的变革。

据悉，cursor是一款AI编程神器，以其强大的代码生成和调试功能在业内广受好评。而此次的70B模型Llama3的优化，主要得益于anysphere团队对模型性能问题的深入研究和针对性的解决方案。团队主要采用了两种策略来实现加速：一是使用预测性编辑算法，预测多个后续token，减少模型的调用次数，降低运算量；二是对代码改写任务进行特化处理，使模型更加适应此类任务。

经过一系列的调整和优化，cursor团队成功地让70B的Llama3模型实现了每秒超过1000个token的计算速度。这一速度在目前业界顶尖的推理加速框架Groq上，仅相当于每秒300多个token。cursor团队的研究成果，无疑为编程界开启了全新的篇章，预示着编程速度新时代的到来。

值得一提的是，cursor团队表示，他们将继续深入挖掘模型的潜力，进一步提高其运行效率，并在更多编程语言和任务上实现预测编辑算法的应用。此外，他们还计划将cursor的技术优势应用于企业AI模型基础设施平台fires.ai，以满足更广泛的需求。

总之，cursor及其70B模型Llama3的加速研究，标志着我国在深度学习技术领域的又一重要突破。我们有理由相信，随着技术的不断进步，cursor将为编程界带来更多的便捷和创新，推动人工智能技术在各个领域的广泛应用。