云天励飞推出“深目”AI模盒
中证网讯(记者 齐金钊)3月28日,云天励飞发布“深目”AI模盒,该产品可帮助更多中小企业客户轻松使用大模型。同时,云天励飞还与鹏城实验室、之江实验室、中国电子、华为、华润数科等单位成立“深目2.0”生态联盟,共同探索更多大模型落地应用路径。
发布千元级成本大模型产品
云天励飞董事长兼CEO陈宁在发布会上提到,未来3年,全球80%的企业都将使用大模型。但是,要训练专属大模型,不仅需要大算力、大数据,还需要大量顶尖人才。大模型一次训练成本在千万级,主流的训推一体机价格普遍在百万元,绝大多数企业都无法承担这样高昂的成本。
为了能够让大模型“平民化”,云天励飞推出了“深目”AI模盒。据介绍,这款产品售价在千元级,用单手就能托起,搭载了云天励飞的自研大模型边缘训推芯片DeepEdge10 Max以及自研多模态大模型“云天天书”,具备算法边缘侧在线学习能力,可实现算法场景覆盖超过90%、算法精度超过90%,使用成本降低90%,让人人都能够根据自身场景需求,利用大模型能力,训练出可实战应用的算法。
“能够实现3个90%,离不开云天励飞的核心能力——算法芯片化。”陈宁介绍,“深目”AI模盒的算力基础,来源于去年云天励飞推出的14nm Chiplet大模型训推芯片DeepEdge10 Max。该芯片采用自主可控的国产工艺,内含国产RISC-V核,支持大模型训练推理部署。依托自研芯片DeepEdge10 Max创新的D2D chiplet架构打造的X5000推理卡,已适配并可承载10亿级SAM、百亿级Llama2等大模型运算,可广泛应用于AIoT边缘视频、移动机器人等场景。
云天天书大模型包含语言大模型、多模态大模型等不同系列,在C-Eval、CMMLU等权威测试中多次获得第一,并于去年正式通过中央网信办备案。据悉,云天天书1.0版本于2023年初正式推出,至今已完成3个版本的迭代,预计今年6月将迭代4.0 V版本。
云天励飞表示,以云天天书为底座,公司能够与生态合作伙伴完成预训练场景算法,再将预训练算法提供给广大中小企业用户,中小企业客户可根据自身场景需求,在边缘端完成算法微调。由于大模型具备泛化和学习的能力,客户部署算法后,大模型还能够不断根据现实应用场景情况,在线学习、优化算法,不断提升算法精度。
持续完善大模型产品体系
“AI商业化发展有三个阶段:AI方案化、AI运营化、AI产品化。”陈宁介绍,在AI方案化阶段,AI企业主要通过项目制满足不同垂直领域客户需求。在打磨行业标杆项目的过程中,AI企业不断积累行业认知和数据,AI技术实力不断增强,并形成具备越来越强的泛化能力AI平台,企业也得以开启AI运营业务。而最终,所有的技术都需要通过物理实体赋能,因此AI最终必须走向产品化。
据介绍,云天励飞业务发展路径也沿着上述路径展开。在AI方案化方面,云天励飞在警务、城市治理、智慧交通、人居生活等领域打造诸多标杆项目,并且在低空经济、智慧教育等创新领域持续展开探索。基于在大量行业的落地经验,云天励飞已形成数据运营、新能源运营平台,走向AI运营化。如今,云天励飞还逐步走向AI产品化。去年,云天励飞与华为昇腾联合推出天舟大模型训推一体机;如今又推出面向边缘训推场景的“深目”AI模盒。此外,云天励飞还通过资本纽带,进军智能穿戴和机器人等硬件领域,形成日益完善的大模型产品体系。