リアルタイム
WebSocket ベースのリア ルタイム双方向音声会話(OpenAI Realtime プロトコル)— 音声アシスタント、ライブ翻訳などの低レイテンシが求められる用途向けです。
接続
モデル名はクエリ文字列で指定します。認証は HTTP エンドポイントと同じです:
wss://console.dotouch.ltd/v1/realtime?model=gpt-4o-realtime-preview
const ws = new WebSocket(
'wss://console.dotouch.ltd/v1/realtime?model=gpt-4o-realtime-preview',
{
headers: {
Authorization: 'Bearer sk-your-token',
'OpenAI-Beta': 'realtime=v1',
},
}
);
備考
ブラウザーの new WebSocket はカスタムヘッダーを設定できません。サブプロトコルパラメーターでトークンを渡すか、WebSocket を自分のバックエンド経由でプロキシしてください(推奨 — トークンをフロントエンドに置かずに済みます)。
メッセージ形式
すべてのメッセージは type フィールドを持つ JSON テキストフレームです。
セッションのセットアップ
接続後、サーバーは session.created を送信します。クライアントは通常、最初に session.update を送って音声とターン検出を設定します:
{
"type": "session.update",
"session": {
"instructions": "You are a voice assistant. Keep answers short.",
"voice": "alloy",
"input_audio_format": "pcm16",
"output_audio_format": "pcm16",
"input_audio_transcription": { "model": "whisper-1" },
"turn_detection": { "type": "server_vad" }
}
}
ユーザー音声の送信
音声は、Base64 エンコードした PCM16(24kHz モノラル)のチャンクとして送信します:
{ "type": "input_audio_buffer.append", "audio": "<base64 pcm16>" }
{ "type": "input_audio_buffer.commit" }
server_vad を有効にすると、サーバーが発話の終わりを検出して自動的に commit します — 手動の commit は不要です。
レスポンスのトリガー
{
"type": "response.create",
"response": { "modalities": ["text", "audio"], "instructions": "Be enthusiastic." }
}
サーバーイベント
| イベント | 説明 |
|---|---|
session.created / session.updated | セッション作成 / 設定適用 |
input_audio_buffer.speech_started / _stopped | VAD が発話の開始 / 終了を検出 |
input_audio_buffer.committed | 音声バッファが commit された |
conversation.item.created | 会話アイテムが作成された |
response.audio_transcript.delta / _done | 応答の文字起こしの差分 / 完了 |
response.audio.delta / _done | 応答音声の差分(Base64 PCM16) |
response.text.delta / _done | テキストのみの応答の差分 |
response.done | 現在のレスポンスが完了 |
error | エラーイベント |
フロー全体の例
const ws = new WebSocket(url);
ws.onopen = () => {
ws.send(JSON.stringify({
type: 'session.update',
session: { voice: 'alloy', turn_detection: { type: 'server_vad' } },
}));
// send an audio chunk…
ws.send(JSON.stringify({
type: 'input_audio_buffer.append',
audio: btoa(String.fromCharCode(...pcmChunk)),
}));
};
ws.onmessage = (event) => {
const msg = JSON.parse(event.data);
switch (msg.type) {
case 'response.audio.delta':
playPcmChunk(atob(msg.delta));
break;
case 'response.audio_transcript.delta':
appendSubtitle(msg.delta);
break;
case 'response.done':
console.log('turn finished', msg.response.usage);
break;
}
};
注意
Realtime エンドポイントは音声の長さに応じて課金され、テキストより大幅に高コストです。テスト中はセッションの長さに注意してください。利用可否はチャネルに設定されたモデルに依存します。