Meta周二（5月9日）宣布了一个新的开源人工智能（AI）模型ImageBind，该模型可以将六种类型的数据流联系在一起。ImageBind以视觉（图片和视频）为核心，结合文本、声音、3D深度、温度、运动读数（IMU），最终可以做到在六个模态之间的任意转换。
ImageBind为机器提供了一个整体的理解，将照片中的物体与它们的声音、3D形状、冷暖程度、以及它们的移动方式联系起来。
Meta称，ImageBind使机器能够更同步、更全面、更直接地从不同信息形式中学（xi），进一步向人类靠拢。
AI的未来
该研究的核心概念是将多种类型的数据连接到一个嵌入空间（Embeing Space）中，正是这个概念支撑着最近生成式AI的蓬勃发展。
例如，Meta的AI图像生成器Make-A-Scene可以在ImageBind模型的支持下，从音频中创建图像，例如根据雨林或熙熙攘攘的市场的声音创建图像。
ImageBind还可以提供一种丰富的方式来探索记忆，也就是使用文本、音频和图像的组合来搜索相关信息。
此外，ImageBind为研究人员开发新的整体系统提供了思路，例如结合3D和IMU传感器来设计或体验沉浸式虚拟世界。这不就是Meta一直以来追求的“元宇宙”吗？
上图是Meta在一篇博客文章中给出的案例：当输入一段企鹅的叫声后，ImageBind能生成企鹅的图片；当输入鸽子的照片和一段汽车轰鸣声后，ImageBind能生成一张“人开车惊动鸽群”的照片；ImageBind还可以根据一段火车的音频，生成火车的照片、相关的火车3D模型、以及一段形容火车车站的文本。
该模型目前还只是一个研究项目，没有直接的消费者或实际应用，不过它这种交叉引用数据的模型指明了生成式AI系统的未来，因为它可以创造身临其境的多感官体验。
Meta在博客文章中指出，其他感官输入流也可能会被添加到未来的模型中，包括“触觉、听觉、嗅觉和大脑功能磁共振成像信号”。
想象一下，在未来的一台设备上，你可以让它模拟一次漫长的海上航行，它不仅会让你置身于一艘以海浪为背景声音的船上，还会让你感受到脚下甲板的摇晃和海上空气的凉爽。
开源与限制
当然，这一切都是推测的，而且像这样的研究的直接应用可能会受到更多的限制。
然而，对于行业观察者来说，这项研究很有趣，因为Meta已将其ImageBind的代码开源，这一做法在AI领域受到愈发严格的审查。
OpenAI等反对开源的行业人士称，这种做法对创造者有害，因为竞争对手可以复制他们的作品，而且这种做法可能存在潜在危险，允许恶意行为者利用最先进的人工智能模型。
不过开源的支持者反击道，开源本质上是允许第三方开发人员作为无偿员工来对模型进行改进，从而进一步产生商业效益。迄今为止，Meta一直坚定地站在开源阵营。
本文内容由互联网用户自发贡献，该文观点仅代表作者本人。聚才发仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，请发送邮件至 tenspace2022@163.com 举报，一经查实，本站将立刻删除。 本文链接：https://www.jucaifa.com/post/1124862.html
