Các nhà nghiên cứu của Microsoft cho biết, VALL-E 2 có khả năng tạo ra giọng nói chính xác, tự nhiên, đủ sức thuyết phục để dễ bị nhầm là giọng nói người thật.

Chất lượng vượt trội

Công cụ AI có khả năng thực hiện điều này nhờ tích hợp hai tính năng chính: "Lấy mẫu có nhận thức về sự lặp lại" và "Mô hình mã hóa theo nhóm".

Repetition Aware Sampling cải thiện cách AI chuyển đổi văn bản thành giọng nói bằng cách giải quyết các lần lặp lại của "token" - các đơn vị ngôn ngữ nhỏ, như từ hoặc các phần của từ - ngăn chặn các vòng lặp vô hạn của âm thanh hoặc cụm từ trong quá trình giải mã. Nói cách khác, tính năng này giúp thay đổi mẫu giọng nói của VALL-E 2, khiến giọng nói nghe trôi chảy và tự nhiên hơn.

Trong khi đó, mô hình mã nhóm cải thiện hiệu quả bằng cách giảm độ dài chuỗi - hoặc số lượng mã thông báo riêng lẻ mà mô hình xử lý trong một chuỗi đầu vào duy nhất. Điều này tăng tốc độ VALL-E 2 tạo ra giọng nói và giúp quản lý những khó khăn với việc xử lý chuỗi âm thanh dài.

Các thí nghiệm được tiến hành trên các tập dữ liệu LibriSpeech và VCTK, đã chỉ ra rằng VALL-E 2 vượt trội hơn các hệ thống TTS zero-shot trước đây về độ mạnh mẽ của giọng nói, độ tự nhiên và độ tương đồng của người nói. Đây là hệ thống đầu tiên đạt được sự ngang bằng với con người trên các chuẩn mực này.

Các nhà nghiên cứu viết trong báo cáo rằng, chất lượng đầu ra của VALL-E 2 phụ thuộc vào độ dài và chất lượng của lời nói cũng như các yếu tố môi trường như tiếng ồn xung quanh.

Mặc dù vậy, Microsoft cho rằng, đây hoàn toàn là một dự án nghiên cứu và sẽ không phát hành VALL-E 2 cho công chúng do nguy cơ sử dụng sai mục đích tiềm ẩn. Điều này trùng hợp với mối lo ngại ngày càng tăng về công nghệ sao chép giọng nói Deepfake. Các công ty AI khác như OpenAI đã đặt ra những hạn chế tương tự đối với công nghệ giọng nói của họ để ngăn chặn việc giả mạo nhận dạng giọng nói hoặc mạo danh một người nào đó.

Tuy nhiên, các nhà nghiên cứu đã gợi ý rằng, công nghệ giọng nói AI có thể thấy được những ứng dụng thực tế trong tương lai. VALL-E 2 có thể tổng hợp giọng nói duy trì được danh tính của người nói và có thể được sử dụng cho mục đích học tập giáo dục, giải trí, báo chí, nội dung tự biên soạn, tính năng trợ năng, hệ thống phản hồi bằng giọng nói tương tác, dịch thuật, chatbot…