千亿官网

网易千亿官网 > > 正文

什么?一个人就能训练大模型,指标还能硬刚K3V4?

0
分享至

文 | 字母AI

训练一个5000亿参数的大模型,需要多少人?

AI行业的经验是,至少几十人,大厂动辄投入数百人。

但硅谷一家叫Mirendil的初创公司,把这个数字压缩到了极致——只要一个人。

就在刚刚,Mirendil在官网发了一篇文章,标题非常耸人听闻:《无需预训练团队的大规模预训练》。

文章标题下面列着三个数字:

1名研究员、三个半月、成本不到1000万美元。

这些钱涵盖了Agent的token消耗、数据处理和全部研究实验成本。只靠这些投入,他们真的把千亿参数的模型训出来了:Mirendil-Base,一个1000亿到 5000亿参数区间的编码专用基座模型。

Mirendil在文章中称,新模型超过99%的代码不是人写的,而是Agent写的。

人类研究员只需要负责确定方向、下判断,在关键节点踩刹车。写代码、跑实验、错误排查之类的活儿,全交给了Agent。

在Mirendil的测试中,新模型的部分指标已经逼近了Kimi K3、GLM-5.3、DeepSeek-V4等主流一线模型。

“单人手搓基模”的时代,真的要到来了……吗?

01

按照官方说法,Mirendil-Base是Mirendil系列模型的首发产品,定位是编码专用基座模型,目标用户是前沿AI实验室内部的研究员和工程师。

为了验证一个人究竟能不能把模型做出来,Mirendil设置了许多苛刻条件。比如,不能用现成的预训练框架,也不能继承代码。

研究员和Agent从零起步,在100多天里搭建了一切——训练基础设施、模型架构、训练算法、数据管道,全是自己写的,只是在PyTorch、JAX这几个通用库上,参考了一些热门开源项目当样板。

当然,这里的“自己”,通常指的是Agent。

研究员主要负责决定尝试什么、信任什么,并在需要时干预。写代码、跑实验、诊断报错这些具体的动作,基本都是Agent自己跑。


数据方面,Mirendil全部使用公开数据,比如GitHub开源代码、公开网页、公开数据集之类。公司强调,训练过程中没买过一行数据,没做过蒸馏,也没用合成数据。

此外,Mirendil希望通过改进设计提升效率。“我们通过改进的架构、数据混合的高级调优,以及其他数据层面的改进,还有kernel优化,获得了显著的效率提升。”公告称。

最终成品是Mirendil-Base,参数为1000 亿~5000 亿。

一个人做出来的千亿参数模型,到底是个什么水平?

Mirendil拿了五款模型做对比,分别是Kimi K3、GLM-5.3、Nemotron-550B-Base、DeepSeek-V4-Pro-Base、Inkling,均为MoE架构的大参数模型。

在新代码仓库的交叉熵测试(模型猜测代码怎么写的,分数越低、猜得越准)中,几款模型的比拼结果如下:

Kimi K3排第一,得分0.193;Mirendil-Base排第二,得分0.222;后面依次是GLM-5.3、DeepSeek-V4、Nemotron。


换句话说,在部分编码维度上,一个人和Agent组队训练出来的预训练模型,已经能跟头部大厂的成品模型掰手腕了。

不过,必须指出的是,通常情况下,基座模型在交叉熵测试中比后训练模型表现更好。Mirendil-Base作为基座模型,分数反而比后训练过的Kimi-K3更高,说明 Kimi-K3的真实实力比表面分数显示的还要强得多,Mirendil-Base跟它的差距比看起来更大。

根据官方介绍,Mirendil-Base往上还有两档:Large在5000亿到2万亿,XL直接冲到2万亿到10万亿。

目前,Large训练了80%,XL刚开了个头,才19%,却已经快追上Large现在的分数了。

也就是说,在钞能力和Agent的加持下,一个人训练万亿模型不是梦——这是许多AI大厂都还没摸到的门槛。

02

千亿乃至万亿参数大模型的预训练,极为耗钱、费时,还必须大量堆人。

几百位研究员里面,一部分研究模型该长什么样、怎么做scaling;一部分人管数万亿token 的清洗和配比;还有一部分人守着几千张,甚至几十万张算力卡,保证训练不停机。

AI大厂可以聚拢足够多的人才,但资金和算力成本压力依然很大。

整个行业一直在尝试降本,核心思路就是一条:让AI来训练AI。

比如,Anthropic已经沿着这条路走了很远。

它此前披露,今年5月,其代码库里超过80%的合并代码是Claude写的。

谷歌也在做类似的事情:AI编程智能体AlphaEvolve,已经被用来优化数据中心调度、芯片设计和AI训练流程。

但“AI训练AI”这条路,目前只有大厂才能玩得转。

科学家、研究员、小团队等,想自己训练一个模型,以前几乎不可能。

Mirendil-Base却证明了,在一定条件下,一个人也可以“手搓”模型。

Mirendil在官网文章中称,直到不久前,预训练一个有竞争力模型的瓶颈还是人:一支需要多年才能搭建起来的专家团队。

如今,这一局面正在改变。

过去只有大型研究机构才能做到的事,现在一名研究员就可以完成。当Agent承担了大部分动手工作时,瓶颈转移到了算力、数据,以及指挥Agent的那个人的判断力上。

“人人都能训练模型”,蕴含着巨大的想象空间。

以前,大多数人和公司如果需要专属模型,往往租用一个通用模型、再在边缘做适配。

现在,一支芯片设计团队、一个机器人实验室,或是一家医院,都可以用自己的数据、为自己的问题训练一个模型。基座模型以及围绕它们构建的系统,将不再是只有少数大厂才能制造的东西,而会更加普及。

另一方面,过去需要一个大型团队才能启动的AI项目,现在可以从小团队,甚至一个人起步;而随着算力越来越便宜、越来越强大,更多人能够去尝试这些项目。“一人公司”或者“超级个体”,有望变成现实。

人们的工作方式也会被改变:随着越来越多的工作被交给Agent,人类的日常工作将越来越不像“亲手做事情”,而越来越像“带领一个小型实验室”:设定研究方向、设计值得运行的实验、判断哪些想法值得继续推进。

Mirendil描绘了更加炫目的前景:下一个模型将部分由Mirendil自己的模型来构建,而每一个在构建 AI这件事上变得更强的模型,都会让下一个模型的构建更便宜、更快速。

“我们认为,还没有达到完全自主的RSI,但我们已经比以往更接近了。”公司称。

此外,公司已经开始对Mirendil-Base进行后训练。Mirendil-Base-Large以及达到前沿水平的Mirendil-Base-XL仍在训练中。

03

Mirendil的背后,是两位Anthropic前员工:Behnam Neyshabur和Harsh Mehta。

Neyshabur是80后,伊朗出生、读大学。2011 年去了美国,在丰田工业大学芝加哥分校拿了博士学位。毕业后,他在谷歌DeepMind干了5年,2024年底加入Anthropic,领导了Discovery团队,专门研究怎么让AI像科学家一样参与研发。

Mehta是印度裔,印度理工学院古瓦哈提分校毕业的,在DeepMind的时候跟Neyshabur是同事。加入Anthropic之后,Mehta搭建了Anthropic内部自动化AI研究平台的第一个版本。

2025年12月,两人前后脚离职,成立了Mirendil,公司定位是让AI来帮助科学家造出他们自己的AI,而不只是直接用AI辅助科学。

换句话说,他们希望让科研团队能够自己训练、迭代专属AI模型,不用再仰仗大厂的通用模型。背后的技术路线,就是最近AI圈内炒得很热的RSI。

今年6月,Mirendil官宣了 2 亿美元种子轮融资,投后估值 10 亿美元。投资方包括a16z、凯鹏华盈、英伟达等。

团队目前约 20 人,都是从Anthropic、xAI、Google DeepMind、OpenAI 出来的研究员和工程师,在旧金山市中心办公。

Mirendil-Base的亮相,标志着公司跨过了第一个里程碑。

但话说回来,“单人训练千亿参数模型”听起来美好,门槛并没有被拉低多少。

1000万美元的成本,对大厂来说不算什么,刚刚拿到融资的Mirendil也还付得起。但对于绝大多数个人、小团队来说,依然是天文数字。

更别说,能指挥 Agent整出如此大活儿,不是随便拉一个工程师就能上手的。Mirendil的人才质量之高、AI项目经验之丰富,在整个硅谷都处于第一梯队。

“一人手搓大模型”的时代确实在靠近,但离普通人还很远。

Mirendil-Base 的发布,是这条漫长道路的第一块路标。至于它能不能真的把大模型的门槛打下来,还得看后续更大规模模型的实际水平,以及这套方法论能不能复制到别人身上。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
卖淫女从良嫁给小7岁男友,嫌卖饮料不赚钱,婚后竟拉着丈夫干回老本行!

卖淫女从良嫁给小7岁男友,嫌卖饮料不赚钱,婚后竟拉着丈夫干回老本行!

一丝不苟的法律人
2026-10-23 11:46:03
开始查普通医生!中纪委划4条硬杠,2026年医疗反腐变天!

开始查普通医生!中纪委划4条硬杠,2026年医疗反腐变天!

细说职场
2026-10-24 13:55:28
天生没手没脚,父母让他自生自灭,他却靠自己娶妻生子靠嘴养家

天生没手没脚,父母让他自生自灭,他却靠自己娶妻生子靠嘴养家

小武侃风云
2026-10-23 18:43:36
特朗普表示,他有权利竞选第三届总统任期

特朗普表示,他有权利竞选第三届总统任期

山河路口
2026-10-24 16:00:33
3药抑制前列腺增生肥大,缩小前列腺体积,改善排尿困难增加尿流

3药抑制前列腺增生肥大,缩小前列腺体积,改善排尿困难增加尿流

健康之光
2026-10-24 13:40:10
毛不易婚礼致辞完整原话曝光,被剪掉的半句话才是重点

毛不易婚礼致辞完整原话曝光,被剪掉的半句话才是重点

海藻娱乐
2026-10-23 10:40:46
湖人险胜!里夫斯28+2+9,赛后东契奇直接走进通道,小里抱住八村塁

湖人险胜!里夫斯28+2+9,赛后东契奇直接走进通道,小里抱住八村塁

小犙拍客在北漂
2026-10-24 12:49:28
布拉德·皮特新片上映一个月,被近1200家影院撤下

布拉德·皮特新片上映一个月,被近1200家影院撤下

浅遇时光
2026-10-24 03:29:11
大学最恐怖的机制“滚雪球”:大一不当班干,到了大四啥资源都捞不着

大学最恐怖的机制“滚雪球”:大一不当班干,到了大四啥资源都捞不着

妍妍教育日记
2026-10-23 13:10:11
官宣结婚后他自曝:喜欢她20年了

官宣结婚后他自曝:喜欢她20年了

赴一场山海啊
2026-10-23 03:21:19
快讯!郑丽文怒斥赵少康了!

快讯!郑丽文怒斥赵少康了!

做个平凡的轩友
2026-10-24 09:04:44
原来他们是恋人,一个知名主持人,一个投行精英,势均力敌很般配

原来他们是恋人,一个知名主持人,一个投行精英,势均力敌很般配

莫地方
2026-10-23 20:41:13
厦门女子拍到丈夫出轨多个按摩女,80次在家里,证据却不能用,反倒认定是偷拍

厦门女子拍到丈夫出轨多个按摩女,80次在家里,证据却不能用,反倒认定是偷拍

360度看视角
2026-10-17 16:06:04
42岁朱亚文南京被偶遇!生图状态炸裂,网友:本人比镜头里还帅!

42岁朱亚文南京被偶遇!生图状态炸裂,网友:本人比镜头里还帅!

喜欢历史的阿繁
2026-10-24 11:01:01
再见湖人,正式签约!卫冕冠军迎神射手,勇士酝酿1换1交易

再见湖人,正式签约!卫冕冠军迎神射手,勇士酝酿1换1交易

篮球扫地僧
2026-10-24 17:40:10
太阳报:巴萨球迷开始批评戈登,更有球迷呼吁拉什福德回归

太阳报:巴萨球迷开始批评戈登,更有球迷呼吁拉什福德回归

懂球帝
2026-10-23 21:06:48
中山大学附属七院被实名举报后,网友炸了:这哪是医院,这是企业吧?

中山大学附属七院被实名举报后,网友炸了:这哪是医院,这是企业吧?

歪歌社团
2026-10-22 14:23:22
筱梅直播捅破窗户纸:选乐乐合播不看本事看人品

筱梅直播捅破窗户纸:选乐乐合播不看本事看人品

动物奇奇怪怪
2026-10-24 14:27:32
卡拉自曝客串泰勒MV内幕:她打电话邀我,我当场答应

卡拉自曝客串泰勒MV内幕:她打电话邀我,我当场答应

自愈小日子
2026-10-23 02:38:32
“再吵就砍死你”!只因家里发出噪音,男子惨遭邻居连砍40余刀

“再吵就砍死你”!只因家里发出噪音,男子惨遭邻居连砍40余刀

易玄
2026-10-06 00:49:10
2026-10-24 17:59:00
钛媒体APP incentive-icons
钛媒体APP
独立财经科技媒体
140992文章数 862688关注度
往期回顾 全部

写程序、做3D,新Kimi还有多少本事?

北京男子帮朋友代购字画 4000万购176幅鉴定仅值25万

北京男子帮朋友代购字画 4000万购176幅鉴定仅值25万

从乐透秀到总冠军再到没工作 一共要几年?

翁虹19岁女儿三次拒爱,在美国上学却“不随便”

叫"保障"不叫"保险":租车平台的文字游戏

大众安徽与众09正式上市 双十一权益价16.99万起

态度原创

OPPO /一加手机ColorOS“优行卡”新增支持“琴岛通”交通卡,可在山东青岛享公交地铁乘车优惠

痘痘能根治吗?皮肤科医生说实话

百亩大盘又 +1!攒量超 200 万㎡!江东,要燃起来了!

无障碍浏览 进入关怀版