2026/1/12 6:28:14
网站建设
项目流程
昭通做网站,用asp.net做企业网站,1 童装网站建设目标,名字设计网站前天#xff0c;除了DeepSeek发布了新工作之外#xff0c;另一个国内量化团队也搞了一个大动静。
九坤投资在去年成立的至知创新研究院团队发布了 IQuest-Coder-V1。
这是一个专注于代码领域的垂类模型#xff0c;参数仅40B#xff0c;不是MoE结构#xff0c;而是Dense架构…前天除了DeepSeek发布了新工作之外另一个国内量化团队也搞了一个大动静。九坤投资在去年成立的至知创新研究院团队发布了 IQuest-Coder-V1。这是一个专注于代码领域的垂类模型参数仅40B不是MoE结构而是Dense架构。模型已开源在Hugging Face[1]上共包括四款IQuest-Coder-V1-40B-Base-Stage1IQuest-Coder-V1-40B-BaseIQuest-Coder-V1-40B-InstructIQuest-Coder-V1-40B-Loop-Instruct前两个都是试验中间状态产物。后两个是最终的完全体带Loop表示引入LoopCoder机制的模型。它公布的评测结果相当惊人在各种评估基准上比claude sonnet-4.5都要好。核心亮点LoopCoder这个模型的训练过程从预训练、SFT到强化学习都比较常规。核心亮点是提出了LoopCoder这个机制。根据其代码仓库里的这篇论文[2]所述LoopCoder主要是为了解决复杂问题推理。LoopCoder这个机制是要求模型在中间状态时“思考”两遍。如图所示第一次输入Input Token得到潜空间的结果Latent Input。这个结果会被共享到第二次输入进行第二轮迭代。在第二次迭代中计算两种注意力全局注意力查询关注第一次迭代的所有键值对和局部注意力查询仅关注第二次迭代中的先前令牌以保持因果关系。两种注意力输出通过一个基于查询表示的学习门控机制进行组合该门控制全局上下文细化和局部因果依赖的加权混合最后输出最终结果。这个机制乍一看有点像Agent的自我迭代将第一轮的输出再输入到模型中得到第二轮更好的结果。但不同的是LoopCoder是内部进行的效率会更高也可以针对性优化。看完这个机制想到了DeepSeek提出的思维链(CoT)。思维链是要求模型在输出时强制把思考过程作为结果一同输出出来。而LoopCoder是直接让模型在“脑中”思考两遍比如让它写一个代码它第一遍先思考要用什么技术栈代码架构怎么做第二遍再具体去做。这样去理解LoopCoder的动机似乎有几分道理。混合语言训练大模型对不同编程语言的掌握情况是不一样的在做预训练时作者团队提出了一个有价值的发现用混合语言的方式对模型训练优于用单一语言进行微调。他们进一步试验出了分配比例在最佳比例下不同语言的协同增益效果如下表所示从表中能够看出Java对其它语言的增益非常显著特别是C#和Java语法比较接近相比基线有20%的增幅看来还是Java的高质量代码最多。从最终效果上看大模型对语言的掌握情况从弱到强满足C# Java ≈ Rust Go TypeScript JavaScript Python评估结果对比开头的图片仅展示了部分模型对比。对于代码生成任务而言更详细的对比如下表所示。从数值上看这个模型只能做到部分领先没领先的几个基准上指标也不是很差。它没有提供API如果要测它的实际表现必须要本地部署才行。网友All In AI的测试表明[3]该模型引入的LoopCoder机制会导致处理速度缓慢实用价值不高。此外还有人发现[4]这个模型在 SWE-bench 基准上评测时无意触发了该基准的漏洞在评测中“看到了未来的 Git 提交”等于提前拿到了标准答案因此它的 SWE-bench 成绩会虚高。这不是研究人员刻意“作弊”而是评测数据集的问题去年九月前就有人发现过[5]。总结这个模型在架构上的创新还是有点新意的国产开源大模型赛道又增加了一个玩家。他们的起步策略还是挺聪明的不直接上来就搞通用大模型而是在已经充分被市场验证价值的编程领域开始切入。模型更小领域更垂直有可能成为今年的新趋势。参考[1] https://huggingface.co/IQuestLab/IQuest-Coder-V1-40B-Loop-Instruct[2] https://github.com/IQuestLab/IQuest-Coder-V1/blob/main/papers/LoopCoder_arxiv.pdf[3] https://x.com/HaohaoHenr56041/status/2006843118969303382[4] https://x.com/xeophon/status/2006969664346501589[5] https://x.com/giffmana/status/1963327672827687316