目前,公司的0个产品和0款型号的价值为854亿元人民币,他们终于推出了第一个产品!

Xin Zhiyuan编辑报告:Dinghui是如此[Xin Zhiyuan简介]进行调整的绝佳模型,不再获得某些人的专利! Thinking Machines Lab正在推出其第一个产品“ Tinker”,这是一种旨在调整语言模型的API。这使开发人员能够完全消除基础体系结构的局限性,并使用简单的Python代码专注于算法和数据创新。 Thinking Machines Lab终于推出了其第一个产品Tinker!它是一种API,旨在调整语言模型,而不是模型或应用程序。翻译的修补剂使您几乎可以轻松地修改模型!对于研究人员和开发人员而言,Tinker诞生是为了解决核中的弱点。当我们想实验和自定义SOTA模型时,我们通常会被复杂的分布式培训基础架构所淹没。 Tinker的解决方案是专注于算法和数据,并处理不利的背景工作。不仅如此,将小型模型更改为巨人非常容易,所以您t需要在其Python代码中更改链条。该产品由旧的Openai CTO创建,实际上是一个问题。正如首席执行官Murati所说:“ Tinker提供了研究人员,该研究人员提供了一个清晰的抽象界面来创建实验和管道培训,并管理分布式培训的复杂性。它提供了创新研究的可能性,建立了可靠的性能绩效点。”作为回应,领先的首席卡帕西(Kapasi)在推特上发了推文和赞扬的修补匠,押注了过去调整模型的范式。这意味着,即使是您和您等通用用户,我也可以留在入口处并在模型级别进行干预,而不是修改一些镜头。与最常见的现有范式“数据加载和训练器LLM”相比,Kapasi具有更聪明的方法,可以使修补匠在训练后“细分”复杂性。在执行特殊任务的模型中训练较小,并在许多情况下可以取得更好或更稳定的性能,更快的推理和Lower资源消耗对于小型型号(例如2B或7B)并不容易。小修(Tinker)到达后,我们都有能力根据我们的需求和想法调整特殊模型。呢任何人都可以简单地使用非常简单的Python代码来完成“ Idea公式”,“调整”模型修补剂。它处理所有无聊的任务,例如任务编程,资源分配,灾难恢复等,作为内部组中执行的住宿服务和思维机器的培训基础架构。用户不必担心基础架构管理,并且可以迅速启动大型或小型计算机任务。 Tinker的中央功能包括提供本机Python操作,例如forward_backward和示例,使用户可以构建精细或增强学习(RL)的个性化算法。承认各种开放式重量模型,从小到大的Incuididas混合体系结构,例如QWEN-235B-A22B。基于洛拉的集成调整方法允许乘LE培训任务分享一组计算机资源,优化盈利能力。开源支持库称为Tinker Cookbook,其中包括训练后的多种方法的实现。思维机器实验室使用洛拉技术。这在多个培训任务中降低了相同的计算机资源的成本。 Tinker API提供了基本的操作原始api,例如forward_backward和示例。这可用于实施最常见的培训方法。修补剂使您可以调整任何大小的开放式重量模型,包括大型专家混合模型,例如QWEN-235B-A22B。将小型模型更改为大型模型将非常易于操作,只需更改Codeor Python上的链条即可。 Tinker当前与QWEN和CALL SERIST模型兼容。该模型可以直接调整,但是必须正确处理许多细节以获得理想的结果。因此,他们推出了一个名为Tinker Cookbook的开源库。这个IncLUDES基于API修补程序执行的代码,该代码在训练后实现了几种高级方法。目前,Tinker处于免费的私人试用阶段,并将在未来几周内推出基于价格的定价模型。如果使用Tinker,则应加入用户的白色列表。申请地址是https://form.typeform.com/to/jh2xnwig中心培训apitinker开发人员,这不是另一个拖动和求解接口或黑色现金调整服务。取而代之的是,它提供了一种基本且容易使用的API,使研究人员可以通过标准的Python代码对损失功能,训练循环和DATA工作流有很好的控制。真正的培训工作负载是在托管基础架构中的思维计算机中执行的,可以快速分布式执行并消除GPU组管理问题。莱斯特伯克大学加利福尼亚大学计算机科学博士生泰勒·格里格斯(Tyler Griggs)说:我正在写这篇文章。使用修补匠,你可以担心计算资源。它只是专注于“调整”其环境,算法和数据。普林斯顿和斯坦福大学使用它。在出版之前,几家研究实验室使用了修补匠。第一批新兵包括伯克利,普林斯顿,斯坦福和雷德伍德的研究团队。每个都将API应用于独特的模型培训问题。普林斯顿的Godel Team USA Tinker和Lora调整了用于测试eformal定理的大型语言模型,以实现与完整参数主管模型(SFT)相当的性能。在MiniF2F参考测试中,他们接受过修补匠训练的模型达到了32个88.1%的成功率,在自我纠正后达到90.4%,超过了最大的封闭代码模型。斯坦福大学的Lotzkkoflavo训练用小叮当训练化学推断的模型。在学习强化学习70B之后,将IUPAC名称转换为化学公式的精度从15%增加到50%。研究人员说在过去的情况下,如果没有强大的基础设施的支持,那么这种大小的增加将是无法想象的。伯克利的Skyrl团队执行了一个个性化的多个代理学习循环,其中包括政治中的异步培训和使用多个圆形工具,而Tinker的灵活性使得它成为可能。 Redwood Research使用Tinker在QWEN3-32B模型中具有长期上下文控制任务中的加固​​学习。研究员埃里克·冈恩(Eric Gunn)说,没有修补匠的项目就不会开始,并表示扩大多键训练是一个重要的障碍。这些案例完美地证明了Tinker的多功能性。如果它是一个很好的调整或非常实验性的增强学习组合,则提供支持,它涵盖了非常不同的领域。请参阅:https://thinkingmachines.ai/blog/anuncia-tinker/
特殊声明:用户已收取和发布以前的内容(包括照片和视频,如果有)网络自我媒体平台。该平台仅提供信息存储服务。
注意:先前的内容(包括有照片或视频的视频)将由NetEase HA的用户加载和发布,这是一个社交媒体平台,仅提供了信息信息存储虎钳。

文章已创建 122

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

相关文章

开始在上面输入您的搜索词,然后按回车进行搜索。按ESC取消。

返回顶部