Các nhà khoa học đã phát triển một ứng dụng cho tai nghe thực tế hỗn hợp Apple Vision Pro cho phép người dùng điều khiển robot chỉ bằng cử chỉ của đầu và tay. Nó có thể được sử dụng để điều khiển từ xa trong các tình huống khác nhau, đặc biệt trong các vùng gặp thảm họa.

Ứng dụng có tên "Tracking Streamer" theo dõi chuyển động của con người - đặc biệt là cách đầu, cổ tay và ngón tay di chuyển - và truyền dữ liệu này qua kết nối Wi-Fi tới robot trên cùng một mạng. Robot được kết nối sau đó sẽ dịch dữ liệu thành các chuyển động tương ứng.

Các nhà nghiên cứu đã công bố công trình của họ trong một bài báo vừa đăng trên trên Github, một kho lưu trữ mã nguồn mở. Hệ thống này theo dõi 26 điểm ở bàn tay và cổ tay, cũng như các điểm riêng biệt ở đầu. Nó cũng ghi lại dữ liệu không gian - chẳng hạn như bạn ở độ cao bao nhiêu so với mặt đất.

Nhà phát triển ứng dụng Younghyo Park, một nghiên cứu sinh tiến sĩ tại Viện Công nghệ Massachussets (MIT) đã xuất bản một video lên mạng xã hội X cho thấy hệ thống đang hoạt động.

Trong một đoạn video ngắn, đồng tác giả nghiên cứu Gabe Margolis, một sinh viên tốt nghiệp tại MIT, điều khiển một robot bốn chân bằng tay và chuyển động cơ thể của mình.

Margolis thực hiện các cử chỉ để ra lệnh cho robot đến gần một cánh cửa đang đóng, xoay tay cầm bằng dụng cụ kẹp và đi vào. Trong một cảnh khác, anh ra hiệu cho robot mở nắp thùng rác và ném đồ vào thùng rác. Có lúc, anh cũng cúi xuống - điều này khiến robot bắt chước anh.

Apple ra mắt tai nghe thực tế ảo (VR) Vision Pro vào tháng 2 năm 2024, để hỗ trợ những người đeo thiết bị này trong cuộc sống hàng ngày của họ bằng những cảnh quay. Ngay trước khi ra mắt, các nhà khoa học đã công bố nghiên cứu nhằm điều tra xem tai nghe VR hoạt động tốt như thế nào nếu bạn sử dụng chúng trong cuộc sống hàng ngày.

Họ nhận thấy các thiết bị này có độ trễ thời gian, làm hạn chế tầm nhìn ngoại vi và gây ra các biến dạng giống như một chiếc gương cười ở rạp xiếc. Họ cảnh báo không nên đeo tai nghe VR khi lái xe hoặc đi bộ xuống cầu thang.

Park và Margolis đã suy đoán rằng, một số người dùng có thể đeo Apple Vision Pro mọi lúc, như kính, và việc này sẽ cung cấp nhiều dữ liệu hơn để dạy robot cách con người di chuyển và nó sẽ làm theo.