
要点方案要点
方案开发分为两个连续阶段。第一阶段需对现有HCI(人机交互)技术开展小型研究,这些技术可实时追踪人眼瞳孔的运动,并对偏离中心的位移进行分类。在此基础上,我们选用了模仿学习模型,即通过生成方式从另一模态获取数据。第二阶段是在VR仿真器中生成数据,用于模型的训练和验证。这一阶段还涉及专用设备的调试,以及将方案部署到客户的边缘设备中。
工程实施过程03
- 0101
交互研究
分析通过瞳孔运动控制设备的使用场景。
- 0202
VR仿真
构建虚拟环境,用于生成训练场景与数据。
- 0303
眼动数据采集
准备视线运动与用户行为数据集。
- 0404
AI模型开发
基于合成数据训练模仿学习模型。
- 0505
设备集成
将控制系统接入各类界面与嵌入式设备。
- 0606
场景测试
验证系统实时运行的稳定性与准确性。
成果成果04
91%真实数据准确率
60FPS实时运行
−71%数据标注成本
記録项目图集05
技術技术栈
- 01Python
- 02PyTorch
- 03OpenCV
- 04MediaPipe
- 05AR Haptics
- 06VR SDK
- 07模仿学习
- 08React
有类似需求?
我们将在5个工作日内完成沟通与评估。