Ứng dụng mới cho VR trong Metaverse

Trong môi trường phức tạp, con người có thể hiểu ý nghĩa của lời nói tốt hơn AI, vì chúng ta không chỉ sử dụng tai mà còn sử dụng cả mắt.
Ví dụ, chúng ta nhìn thấy miệng của ai đó chuyển động và có thể trực giác biết rằng âm thanh chúng ta nghe được hẳn là đến từ người đó.
Meta AI đang nghiên cứu một hệ thống đối thoại AI mới, nhằm dạy AI cách nhận ra mối tương quan tinh tế giữa những gì nó nhìn thấy và nghe thấy trong một cuộc trò chuyện.
VisualVoice học theo cách tương tự như cách con người học để thành thạo các kỹ năng mới, cho phép tách giọng nói bằng hình ảnh và âm thanh bằng cách học các tín hiệu thị giác và thính giác từ các video không có nhãn.
Đối với máy móc, điều này tạo ra nhận thức tốt hơn, trong khi nhận thức của con người được cải thiện.
Hãy tưởng tượng bạn có thể tham gia các cuộc họp nhóm trong siêu vũ trụ với các đồng nghiệp từ khắp nơi trên thế giới, tham gia các cuộc họp nhóm nhỏ hơn khi họ di chuyển qua không gian ảo, trong đó âm vang và âm sắc trong cảnh sẽ thay đổi theo môi trường.
Nghĩa là nó có thể thu thập thông tin âm thanh, video và văn bản cùng lúc, đồng thời có mô hình hiểu biết về môi trường phong phú hơn, cho phép người dùng có trải nghiệm âm thanh "rất tuyệt vời".