使用 Fologram 在混合现实中跟踪实时几何的 3 种最佳方法

Rhino 和 Grasshopper

   

示例

Sean

3
1月20日

这个例子展示了使用增强现实来检查零件是否正确、将设计模型定向到标记或跟踪物理工具是多么简单,即使没有太多的蚱蜢专业知识。 学习使用标记和二维码是开始了解 Fologram 中一些更强大的计算机视觉工具的好方法。

这是在 Fologram 中跟踪实时几何图形的 3 种最佳方法:

  1. 使用 Aruco 标记进行跟踪。
  2. 使用 Aruco Cube 进行跟踪。
  3. 使用二维码进行跟踪。

每个跟踪标记的模板都可以在 Fologram 网站上找到。 只需将它们打印出来,在 Fologram 中打开跟踪,每个标记位置的实时更新就会出现在蚱蜢中。 在您的设备前移动您的标记,您将看到来自蚱蜢的几何图形。

您可能会遇到跟踪的几何图形跳动或跳帧,当您的移动摄像头无法清楚地看到标记或您正在工作的空间的地图不佳时,可能会发生这种情况。查看本文以了解有关如何 映射您的空间以进行可靠的跟踪。

喜欢这个例子吗? 尝试不同的标记,并为每个标记应用不同的几何形状,或查看我们的文章“在这 5 个简单的步骤 109 中使用 Fologram 增强具有全息覆盖的物理工具”,以了解如何使用标记增强物理对象!

1 年后

Bekki5000

2月21日

嗨,肖恩,
是否可以扫描自定义图像甚至对象以用于跟踪? 我正在尝试将 AR 中的某些东西“附加”到物理对象上,如果可能的话,我想避免在其上粘贴 QR 码/Aruco 标记(设计师问题)。 你有什么想法吗?
那将是超级棒!
谢谢!

Gwyll

2月21日

高效的 3D 对象跟踪通常需要对要跟踪对象的特定几何形状进行预训练的神经网络,因此让 Fologram 用户在运行时跟踪自定义对象并不容易。 通过在 Grasshopper 论坛上进行快速搜索,您可能可以使用 kinect 传感器或网络摄像头以及您自己的对象跟踪算法来伪造一些东西——尽管这可能会比简单的 QR 码/Aruco 标记解决方案运行得慢得多。

你想追踪什么? 预期的用例是什么?

Bekki5000

2月21日

嗨@Gwyll,
好吧,我自己的对象跟踪算法听起来很激烈!
我更多地从概念性和推测性的角度来看待它 - 我想创建在“真实”空间和虚拟空间中存在的对象。所以在某种程度上,我想为实际对象创建虚拟扩展,从而改变我们对它们的体验(比如椅子、垃圾桶或茶壶)
理想情况下,我想将它们展示为一个实时 AR 装置,每个人都可以四处走动并观看它们,或者我会制作一段我与这些东西互动的视频。
这意味着我需要能够可靠地跟踪实际对象并将 AR 扩展与它相关 - 就像教程视频钻头上的白色和红色球体一样。
最后,也许我还可以附加 Aruco 标记(尽管这些标记对我来说似乎也不是超级可靠)-我只是想知道是否有更“不可见”的选项。
谢谢!

Gwyll

2月21日

嘿@Bekki5000

标记跟踪的性能在很大程度上取决于您使用的移动设备的品牌和类型(新 iPhone 和 iPad 效果最好)以及标记对手机摄像头的可见度(大/近标记比小/远更好 那些)。 所以不幸的是,这里没有隐形选项! 您可能会设计标记如何与对象一起使用 - 将它们蚀刻到椅子的靠背或座椅上可能是一个有趣的想法。

raphaelascoli

8月15日

您好,我正在与当地的一位木匠合作,用一块简单的木头雕刻出一个复杂的接头。为此,我们正在尝试建立一种直观而简单的方法。因为我们希望木匠使用他喜欢的任何工具并自由地从一种工具切换到另一种工具,所以我们没有遵循用于泡沫雕刻项目的方法。我们的想法是使用 Track Scan 和 Mesh Intersection 组件(使用边界框隔离对象而不是预览整个环境)通过 Hololens 设备可视化当前进度。当木匠雕刻出关节时,他可以轻敲以激活轨迹扫描,边界框内的单独网格根据其顶点到我们正在创建的最终关节对象的最近距离进行颜色编码,并提供颜色重新回到 Hololens 中。然后木匠就会明白他是不是走得太远了,还是可以继续雕刻。我们认为空气敲击对于防止设备过热至关重要(如果它是“始终”跟踪的话)。

这里有几个问题:
1- 您对我们有什么一般性的建议吗? 这种方法有意义吗? 有没有更简单的方法来做到这一点?
2- 您将如何提高 Hololens 扫描的精度? 我知道应该有一种方法可以手动更改设备操作系统中的“单位”,但不知道该怎么做。

Gwyll

8月16日

嘿@raphaelascoli,

是的,该方法非常有意义。 由于 HoloLens 空间网格的分辨率非常低,这在实践中将具有挑战性。 网格中的边长约为 150 毫米长,因此您将无法捕捉到比这更小的任何细节。 我怀疑这对于任何类型的木材细木工来说都是有问题的。 在实践中,使用模型的轮廓来雕刻简单的凸形通常更简单。 您可以从同步对象组件的右键菜单中启用此功能。

在回答您的第二个问题时,尽管可以访问分辨率更高的原始深度数据,但无法提高空间网格的精度。 我们一直在 Twinbuild 的 beta 版本中对此进行试验,它在这个项目中可能对您有用,也可能对您没有用。 在任何情况下,我们都会通过电子邮件跟进。

raphaelascoli

8月16日

你好 Gwyll,

感谢您的回复!