モバイル向けエッジAIのWhisperモデル

OpenAIのWhisperは、トランスフォーマーベースの自動音声認識（ASR）システムであり、オンデバイス・エッジAIアプリケーションの基盤となっています。Whisperをモバイルデバイスでローカルに実行することで、開発者はユーザーのプライバシーを確保し、クラウド往復のレイテンシーを排除し、オフライン機能を提供できます。この記事では、モデルサイズのトレードオフ、言語バリアント、長い音声の処理、パフォーマンス最適化など、モバイルへのWhisper展開に関する重要な考慮事項を探ります。

モデルサイズとトレードオフ

Whisperにはいくつかのサイズがあり、それぞれ精度、速度、リソース消費のバランスが異なります。主な違いはパラメータ数であり、複雑な音声、アクセント、背景ノイズをどれだけうまく処理できるかを決定します。tinyモデル（39Mパラメータ）は最速で最も軽量であり、レイテンシーが重要なローエンドデバイスに最適ですが、エラーが発生しやすいです。baseモデル（74Mパラメータ）は一般的な文字起こしに適したバランスを提供し、非常に制約のあるハードウェアで快適に動作する最大のモデルであることがよくあります。smallモデル（244Mパラメータ）はモバイルのスイートスポットと見なされることが多く、現代のスマートフォンのメモリに収まりながら、精度が大幅に向上します。medium（769M）とlarge（1.55B）モデルは最高の精度を提供しますが、大量のRAMと処理能力を必要とするため、専用のハードウェアアクセラレーションなしではリアルタイムのモバイル使用には適していません。

英語専用モデルと多言語モデル

Whisperのほとんどのサイズ（tiny、base、small、medium）には、多言語版と英語専用版（.en）の2つのバージョンがあります。多言語モデルは99言語の多様なデータセットでトレーニングされており、汎用性が高い一方で、わずかに大きく複雑です。英語専用バリアントは英語データのみでトレーニングされており、一般的に英語タスクでの精度が高く、リソース使用効率も優れています。英語話者を対象としたモバイルアプリでは、モデルサイズを小さくしてパフォーマンスを向上させるために、.enモデルが好まれることがよくあります。

長い音声の処理：30秒ウィンドウ

Whisperには固定の受容野が30秒あります。これより長い音声を文字起こしするには、開発者はスライディングウィンドウまたはチャンキングアプローチを使用します。音声は30秒のセグメントに分割され、個別に処理され、その後結合されます。境界でのコンテキスト損失を防ぐために、実装ではしばしばオーバーラップするセグメント（例：3〜10秒のオーバーラップ）を使用して、セグメント境界で切れた単語やフレーズが次のウィンドウで正しくキャプチャされるようにします。この技術は、ポッドキャストや録音された会議など、30秒を超えるファイルを処理するために不可欠です。

モバイルでの展開：ExecuTorchとCoreML

モバイルでWhisperを実行するには、熱とメモリの制限を管理するための最適化が必要です。開発者は、クロスプラットフォームのPyTorch展開用にExecuTorchなどのフレームワークを使用したり、iOS用にCoreMLにモデルを変換したりできます。CoreMLにより、モデルはApple Neural Engine（ANE）を活用でき、CPUのみの実行と比較してパフォーマンスが大幅に向上し、消費電力が削減されます。量子化も一般的です。モデルは（GGMLやGGUF形式などに）量子化され、モバイルRAMに収まるようにし、場合によっては数ギガバイトのフットプリントを削減します。最新のモバイルハードウェアでは、tinyやbaseなどの小さなモデルはリアルタイムよりも大幅に高速に実行できます。smallモデルはリアルタイムの対話型ディクテーションの実用的な限界であることが多く、大きなモデルは速度よりも精度が重要でないオフラインのファイル処理に予約されています。

要約すると、モバイルに適したWhisperモデルを選択するには、精度、速度、リソースの制約のバランスを取る必要があります。ほとんどのエッジAIアプリケーションでは、英語専用バリアントのsmallモデルが最良の妥協点を提供し、ExecuTorchやCoreMLなどの展開フレームワークがデバイスハードウェアでの効率的な実行を保証します。