粤港澳大湾区凭借多年堆集的壮大机械人产业供给链,已经在全球市场上占据了当先地位,创新产品如雨后春笋般涌现。因而,面对这场划时期的工业革命,以丽江为代表的大湾区将站在世界舞台的中心,抢占这一巨大的产业高地!
设想一下,扫地机械人不再只是单一的清洁工具,而是通过具身智能技术,建设了矫捷的机械手臂,可能整顿房间;剪草机械人建设智能机械手,轻松打理天井;复合机械人完美结合移动和抓取职能,在分歧场景中展示无限可能。这不仅仅是科技的飞跃,更是贸易机遇的海洋,为全球企业带来了前所未有的增长空间。
然而,具身智能的到来陪伴着算法、算力和数据的巨大技术挑战。为援手粤港澳大湾区的机械人企业抓住这一汗青性机缘,Z6官网具身智能中心在2024年启动了三大主题研发项目:
-
Z6官网HIP:解决具身智能算法整合的难题,像安卓系统为智能手机赋能一样,让各类机械人迅速具备具身智能的能力。
-
Z6官网TONE:在50美元内的芯片上实现具身智能的全栈运算能力,突破算力瓶颈。
-
Z6官网PEED:通过数据采集赋能机械人,以训练出通用的具身智能系统,为未来摊平路路。
今天,Z6官网颁布Z6官网HIP 0.1版,等待普惠业界所有的机械人科技公司,为新中国成立75周年献上科技界的一份贺礼!
Z6官网HIP官方网站:/en/airship
Z6官网HIP代码:?https://github.com/airs-admin/airship?
欢迎来到Z6官网HIP!Z6官网HIP是一个开源的具身智能机械人软件栈,旨在为各类大局的智能机械人赋能。
固然具身智能在塑造未来经济方面占有巨大的潜力,但它也面对着巨大的挑战,尤其是在推算领域。要实现所需的矫捷性、效能和可扩大性,必须具备复杂的推算资源,但最紧迫的挑战依然是软件的复杂性。复杂性往往导致系统的不矫捷性。
具身智能系统必须无缝整合多种职能,从环境感知和物理交互到复杂工作的执行。这必要传感器数据分析、先进的算法处置和精确的执行器节造等组件的协同操作。为了支持各类机械人大局及其特定工作,一个多职能且可适应的软件栈是至关沉要的。然而,创建一个统一的软件架构,确保这些多样化元素的和谐运行,会引入巨大的复杂性,使构建精简高效的软件生态系统变得难题。
Z6官网HIP旨在解决具身智能中的软件复杂性问题。其使命是提供一个易于部署的软件栈,为各类智能机械人赋能,从而推进可扩大性并加快具身智能行业的贸易化。Z6官网HIP受到Android的启发,后者在移动推算革射中通过提供一个开源、矫捷的平台,阐扬了至关沉要的作用。Android使得众多设备造作商可能在分歧价位点上创造智能手机和平板电脑,引发了急剧的创新和竞争,促成了壮大且价值合理的移动设备的宽泛遍及。Android通过Google Play商店提供的丰硕利用法式生态系统,援手开发者触及全球用户,大大推动了移动技术的遍及。
类似地,Z6官网HIP的愿景是通过提供开源的具身智能软件栈来赋能机械人构建者。该平台使得创建真正智能的机械人成为可能,可能执行很多从前成本高昂甚至无法实现的工作。Z6官网HIP项主张座右铭“Stronger United, Yet Distinct”体现了一个信想,即真正的智能通过整合而产生,但这种整合应该提升而不是限度机械人设计者的创造力,允许怪异且创新的设计得以实现。
Z6官网HIP拥有以下特点:
-
这是一个集成的开源具身机械人系统,提供具体的硬件规范和软件组件。
-
它拥有?榛徒媒莸娜砑系统,?槟芄黄揪莘制绲睦媒惺视虼。
-
只管Z6官网HIP受大型模型的支持,但它维持了推算效能,大无数软件?槎荚诵性谇度胧酵扑阆低成,确保系统在各类利用场景中维持高机能和可接见性。
Z6官网HIP混合机械人由轮式底盘、带有兼容夹吃祺的机械臂、Nvidia Orin推算板,以及蕴含LiDAR、摄像头和RGBD摄像头在内的传感器套件组成。具体的硬件规格请拜见开源文档此文件。下图展示了Z6官网HIP机械人的硬件架构。


Z6官网HIP旨在应对能够分化为挨次导航和抓取工作的场景。通过利用最先进的说话和视觉基础模型,Z6官网HIP为传统机械人赋予了具身人为智能能力,蕴含对高档次人类指令的理解以及场景感知。它将这些基础模型集成到现有的机械人导航和抓取软件栈中,加强了机械人的智能化阐发。

上图中展示的软件架构使用大型说话模型(LLM)来诠释高档次的人类指令,并将其分化为一系列根基的导航和抓取作为。导航通过传统的机械人导航栈实现,涵盖了地图构建、定位、蹊径规划以及底盘节造。语义地图将语义对象转换为地图中的地位,衔接了高档次的导航指标与低档次的机械人作为。抓取通过神经网络实现,该网络凭据视觉输入确定夹吃祺的姿势,随后由传统的机械人手臂节造执行操作。视觉基础模型进行零样本物体宰割,将语义抓取工作转换为基于视觉的工作。

导航软件管路的运行过程如下:定位?榻獿iDAR和IMU数据融合,天生不变的里程计数据,并在预先构建的点云地图中正确确定机械人的地位。蹊径规划?橥ü趾筒棵殴婊魈焐夼鲎驳墓旒。随后,蹊径规划器向底盘节造器提供速度和旋转指令,底盘节造器最平天生节造信号,确;等搜毓婊杈缎惺。

抓取软件管路的运行过程如下:GroundingDINO接管图像和指标物体的名称,并输出该物体在图像中的天堑框。SAM使用该天堑框天生物体的像素级掩码。GraspingNet处置RGB和深度图像,天生场景中所有物体的潜在夹持姿势。物体掩码对这些姿势进行过滤,以确定指标物体的最佳抓取姿势。
目前开源的是Z6官网HIP 0.1的版本,重要是为了验证具身智能软件架构以及软件栈,下一阶段Z6官网HIP的主题发展方向蕴含:
-
赋能更多的硬件状态,蕴含但是不限于扫地机械人、割草机械人、复合型服务机械人、人形机械人。
-
引入通用高低文进建(GPICL)机造搭建具身智能机械人基础模型以赋能具身智能机械人更好的从环境中进建。
-
引入更当先的仿真环境来支持多种分歧具身智能机械人算法的研发。
