日前,英伟达方面联合HuggingFace、ServiceNow发布了AI编程开放大模型StarCoder2系列,其采用了BigCodeOpenRAIL-M许可证,可允许免版税访问和使用。
据了解,该系列模型包括一个由ServiceNow训练的3B参数模型、一个由HuggingFace训练的7B亿参数模型,以及一个由英伟达构建、并在其加速基础设施上训练的15B亿参数模型,旨在成为代码生成领域的新标准,并具备性能、透明度和成本效益等诸多优势。
据了解,StarCoder2的基础是一个名为Stackv2的新代码数据集,其规模比Stackv1大7倍多。除了先进的数据集之外,其所采用的新训练技术也有助于StarCoder2理解低资源编程语言(如COBOL等)、数学和程序源代码讨论等。
StarCoder2经过619门编程语言培训,可执行源代码生成、工作流生成、文本摘要等专业任务。对此英伟达方面表示,开发者可以利用StarCoder2进行代码补全、高级代码总结、代码片段检索等工作,从而提高效率。而在性能方面,据悉StarCoder23B进一步精简和筛选了优质参数,性能相当于初版StarCoder15B。而且StarCoder215B在HumanEval上表现出色,可达到46%的准确率,并在多项评估中能与33B+规模的模型匹敌。
对此英伟达应用研究副总裁JonathanCohen表示,“由于每个软件生态系统都有专门的编程语言,编程大模型可以推动各行业效率和创新方面的突破。英伟达与ServiceNow和HuggingFace的合作带来了安全且负责任的模型,让更多人能够用上负责任的生成式AI,我们相信这将使全球社区受益”。
ServiceNow的StarCoder2开发团队负责人HarmdeVries则表示,“StarCoder2证明了将开放式科学协作和负责任的AI实践与道德数据供应链相结合所产生的力量,这一极其先进的开放获取模型将提高已有生成式AI的性能和开发者的生产力,为开发者提供平等的机会、获得代码生成式AI的优势,这也使得任何规模的企业都能更轻松地激发其全部业务潜力”。
TAG:潮流 | 资讯 | 英伟达 | 英伟达AI编程开放大模型 | StarCoder2 | 英伟达最新消息
文章链接:https://www.lk86.com/zixun/162712.html