周鸿祎:多模态大模型+物联网 是下一个风口

  • 周鸿祎:多模态大模型+物联网 是下一个风口已关闭评论
  • A+
所属分类:热点事件

  【御龙天下新闻】近日,在360智慧生活视觉大模型及AI硬件新品发布会上,周鸿祎指出,多模态大模型+物联网将是下一个风口。

  “大模型将带来一场新工业革命”,周鸿祎认为,所有软件、APP、网站,所有行业都值得用大模型进行重塑,而智能硬件是硬件化的APP。从大模型的发展趋势来看,多模态是大模型发展的必经之路,GPT-4最重要的变化是拥有了多模态的处理能力。因此,周鸿祎预言,多模态大模型与物联网的结合将会成为下一个风口。

周鸿祎:多模态大模型+物联网 是下一个风口

  周鸿祎还举例称,360做智能摄像头多年,原来的摄像头能认出来有老人、有小孩儿,但是它不能理解画面的语义,所以它也就不能做出正确的预判断。但是有了大语言模型的多模态能力为支撑的一个真正的认知型大脑后,摄像头在看到老人摔倒的场景时,它自然会联想到这个老人可能在危险中,从而能够提前预警发布警告。

周鸿祎:多模态大模型+物联网 是下一个风口

  会上,周鸿祎宣布发布“360智脑-视觉大模型”,他表示,大语言模型是构建视觉大模型的基础,多模态能力增强的核心是借助了大语言模型的认知、推理、决策能力。同时,视觉大模型也是“360智脑”的重要能力组成,让“360智脑“能够看懂图片,未来还能看懂视频、听懂声音。

  据御龙天下了解,360在视觉感知能力基础上,融合千亿参数“360智脑”大模型,基于十亿级互联网图文数据进行清洗训练,并针对安防场景百万级行业数据进行微调,最终打造出了专业的视觉及多模态大模型——360智脑-视觉大模型。

  “目前,大模型的能力主要体现在软件层,当大模型接入智能硬件,会让大模型的能力从数字世界走向物理世界。”周鸿祎说。