OpenAI выпустили React-компонент для интеграции Realtime Voice API

OpenAI опубликовали официальный React-компонент для работы с голосовыми моделями. Репозиторий realtime-voice-component решает главную проблему интеграции Realtime API. Разработчикам больше не нужно вручную писать захват аудио. Отпадает необходимость настраивать буферизацию и управлять потоковой передачей.

Под капотом компонент берет на себя весь цикл работы со звуком. Он устанавливает соединение по веб-сокетам или WebRTC. Затем перехватывает аудиопоток пользователя и отправляет его в модель. Обратный аудиоответ автоматически воспроизводится прямо в браузере. В комплекте идут готовые хуки для управления состоянием записи.

Инструмент доступен в виде open-source библиотеки на GitHub. Это резко снижает порог входа для создания голосовых ассистентов. Для запуска достаточно импортировать компонент и передать токен. Базовая интеграция голосовой связи теперь занимает несколько строк кода.