BonsaiBONSAI
事例案例

眼动追踪系统

基于视线追踪的设备控制系统

周期5个月
91%
真实数据准确率
概要项目概述01

我们开发了一套通过眼动追踪控制设备的系统。模型基于VR环境中的合成数据进行训练,使数据标注成本成倍降低。

課題核心挑战02

将基于VR数据训练的模型迁移到真实设备上,且不出现准确率下降(领域自适应)。

眼动追踪系统
要点方案要点

方案开发分为两个连续阶段。第一阶段需对现有HCI(人机交互)技术开展小型研究,这些技术可实时追踪人眼瞳孔的运动,并对偏离中心的位移进行分类。在此基础上,我们选用了模仿学习模型,即通过生成方式从另一模态获取数据。第二阶段是在VR仿真器中生成数据,用于模型的训练和验证。这一阶段还涉及专用设备的调试,以及将方案部署到客户的边缘设备中。

工程实施过程03
  1. 0101

    交互研究

    分析通过瞳孔运动控制设备的使用场景。

  2. 0202

    VR仿真

    构建虚拟环境,用于生成训练场景与数据。

  3. 0303

    眼动数据采集

    准备视线运动与用户行为数据集。

  4. 0404

    AI模型开发

    基于合成数据训练模仿学习模型。

  5. 0505

    设备集成

    将控制系统接入各类界面与嵌入式设备。

  6. 0606

    场景测试

    验证系统实时运行的稳定性与准确性。

成果成果04
91%真实数据准确率
60FPS实时运行
−71%数据标注成本
記録项目图集05
技術技术栈
  • 01Python
  • 02PyTorch
  • 03OpenCV
  • 04MediaPipe
  • 05AR Haptics
  • 06VR SDK
  • 07模仿学习
  • 08React

有类似需求?

我们将在5个工作日内完成沟通与评估。

洽谈项目