“ChatGPT仍旧是基于我此前公布的GPT系列架构，只是层数更深，每一层的宽度也有了很大的提升。350亿的巨额参数量使得它能够处理更复杂、更具上下文的任务和问题。这种参数的规模对于知识的存储是很有裨益的。”
“模型支持多语言，尽管在某些语言上的表现可能会相对较差，这主要是因为训练数据量的差异而导致性能有所不同。”孟繁岐此前在AI小镇和直播当中只展示了ChatGPT在中英文方面的能力，这个消息的公布，无疑又是一枚重磅炸弹。
“卧槽？单个模型就能做到多语言？？这也太快了吧？”坐在底下前几排，最近在搞人工智能方面创业的公司老板们都听懵了。
“之前不都是中文版BERT，印尼语GPT之类的吗？我没听错吧？？”
场中听众们的不解是有依据的。
孟繁岐开源了初代BERT和GPT代码以及参数模型之后，世界各地的的研究人员们为了研究又或者是其他用途，各自收集了自己的数据集。
在过去的半年当中，基于孟繁岐模型参数做出的其他语言、其他任务版本的BERT和GPT数不胜数，人们的许多需求都得到了满足。
不少相应的公司应运而生，专为解决这些难题。
与此同时，大家也已经熟悉了这种【每个任务每个语言都需要单独一个AI模型】的模式。
孟繁岐在ChatGPT的前瞻直播当中展示了其统一了多任务的模式，用户可以自由地通过在对话中提供指令、问题或上下文来执行不同的任务，如翻译文本、回答问题、写作文章等。
直接对话，丝滑切换。
“多任务统一进了一个模型我还有所预料，毕竟去年的预告当中视频就是这么做的。但多语言这件事我确实没想到，并且听他的意思，还不是通过翻译做的。”如果不是通过翻译做的，那大语言模型的魅力实在就太大了。
毕竟许多人类处理多语言问题...也是要翻译的。
不够熟练的时候，往往会翻译成母语进行理解。
自己的回答呢，也是先由母语的形式生成，然后再翻译过去。
孟繁岐大概清楚大家好奇的地方，多语言模式通过单一主要语言来执行是最方便的。
现在市面上英文模型做得最好，很多人也尝试过把其他语言先翻译成英语，然后交给模型处理，处理完之后，再翻译回特定语言。
这种方式听上去很合理，但实际上往往会导致相当微妙的结果。
因为机器翻译本身，就还有很长的一段路要走。
举个例子，谷歌翻译几十次，你将会得到完全不同的神奇结果。
比如出师表，【先帝创业未半而中道崩殂，今天下三分】。
经过20次谷歌翻译之后就会变成，【皇帝碳酸钙三世躺在酸液里，英年早逝，享年3000岁】。
几乎可以说连一个沾边的字都没有了。
而且槽点多的数不清，什么叫特么的3000岁的英年早逝？？
“我们其实并没有对多语言本身做太多专门的适配，只是单纯在数据的数量和质量上做了许多工作，不同的语言其实都是一锅炖的，全部的词汇都在同一个词表当中。或许对大语言模型来说，不同种类的语言原本就并没有什么不同吧。”孟繁岐在这个问题上给出的答案同样惊人。
没有太多精妙的针对性关键技巧，大数据加大模型，原本费尽心思也无法妥善解决的问题就这么迎刃而解。
记住几十种语言外带十几种编程语言，完全不是什么难题。
随着孟繁岐展现出模型的具体的参数细节，包括算力需求，数据规模等内容，台下各种惊叹和倒吸凉气的声音此起彼伏。
“大几百张P100训练两三个月？？大模型需要的计算资源真是恐怖如斯啊。这先不说购买设备什么的了，光是每天的运行费用就得十几万美金吧？”底下有懂行的人迅速就估算出了大致的超算中心运行费用。
这个估算可以说是相当准确的，目前孟繁岐的超算中心每天的运行费用已经接近了百万元。
待得后续的订单全部到达之后，这个数字甚至可能超过三四百万，全年光是运行耗费就来到接近十亿元的地步。
想入局？门槛先交几个亿美金，然后每天几十万几十万地烧。
孟繁岐的这个消息一公布，台下不少大佬们的表情迅速地从原本的跃跃欲试，变成了一片死灰。
无他，他们订购的P100数量，根本都不够上台面去玩的。
“......学习率等各种超参数方面，我们的设置是......”
孟繁岐在模型方面的各种参数设置上非常大方，事无巨细，全部都列了出来，坦诚得令人惊叹。
不过谈论到模型微调方面和具体数据方面的内容时，就肉眼可见的语焉不详了起来。
“在大量的数据上训练得出的预训练模型固然重要，但微调环节才是确保大模型能够在特定领域内使用的关键所在。”这是人工智能领域技术人员的共识。
针对特定的任务，需要准备相应的数据，并在微调期间提供对模型的指令，以告知它应该如何执行特定的任务。
这些指令可以是针对输入文本格式、输出期望等方面的。
这章没有结束^.^，请点击下一页继续阅读！