Whisperをローカルで動かす高精度・高速な文字起こし
Google Colab を使った文字起こしの方法は、ブラウザだけで使える手軽な方法です。一方、NVIDIA の GPU を搭載したパソコンをお持ちであれば、自分のパソコン(ローカル)で動かす方が有利な場合があります。
このページでは、ローカルで動かす方法を紹介します。特徴は次のとおりです。
- 日本語に特化したモデルを使うため、会議や雑談のような自然な会話で誤りが少ない
- GPU を使うと非常に高速で、1時間の音声が1〜2分程度で処理できる
- Colab の無料枠のような利用制限がなく、何度でも使える
- 音声を外部に送らず、パソコンの中だけで処理が完結する
簡単版(ダブルクリックで使う)
Section titled “簡単版(ダブルクリックで使う)”パソコン操作に自信がない方は、こちらの方法がお勧めです。コマンドを入力せずに使えます。必要なのは初回の Python インストールだけです。
- Python を入れる(初回だけ)
- Python のダウンロードページ を開きます。
- 「Download Python」を押してインストールします。最初の画面で、PATH に追加するチェックを入れてください。
- 次のファイルをダウンロードします。
- whisper-ja.zip をダウンロード(約 14KB)
- ZIP を展開します(右クリック→「すべて展開」)。デスクトップなど、分かりやすい場所がよいです。
- フォルダの中の
whisper.batをダブルクリックします。- 初回だけ、環境の準備が自動で始まります。数分かかります。
- 2回目以降は、すぐに画面が開きます。
- 画面が開いたら「参照…」で音声ファイルを選び、「文字起こし開始」を押します。
文字起こしが終わると、音声ファイルと同じフォルダに次の3つができます。
| ファイル | 内容 |
|---|---|
会議.txt | 本文のみ |
会議.srt | 字幕。VLC などで音声と同期して確認できる |
会議.md | 時刻付きの本文。読み返しに便利 |
どのくらい違うのか
Section titled “どのくらい違うのか”Google Colab 版との違いをまとめると、次のようになります。
| 項目 | ローカル(このページ) | Google Colab |
|---|---|---|
| 認識精度 | 日本語特化モデルで高い | 高い |
| 1時間の音声の処理時間 | 1〜2分程度(RTX 2060 で実測) | 10〜30分程度 |
| 利用回数の制限 | なし | あり(比較的すぐ上限に達する) |
| 音声の送信 | なし(パソコン内で完結) | Google へアップロード |
| 用意するもの | NVIDIA GPU 搭載のパソコン | ブラウザと Google アカウント |
| 準備の手間 | コマンドで環境を構築 | リンクを開くだけ |
Google Colab の無償版は、GPU を使える時間に上限があります。長い会議や複数の録音を続けて処理すると、比較的すぐに上限に達することがあります。上限に達すると、しばらく待つか有料プランに切り替える必要があります。ローカルで動かす場合はこの制限がなく、何度でも処理できます。
精度が上がる理由
Section titled “精度が上がる理由”Whisper は多言語に対応したモデルです。日本語に特化した Kotoba-Whisper を使うと、自然な会話での誤りが減ります。文字誤り率(CER、低いほどよい)は次のとおりです(Kotoba-Whisper 公式のモデルカードの値)。
| モデル | CommonVoice 8 | JSUT | ReazonSpeech |
|---|---|---|---|
| Kotoba-Whisper v2.0 | 9.2 | 8.4 | 11.6 |
| openai/whisper-large-v3 | 8.5 | 7.1 | 14.9 |
読み上げ音声(CommonVoice と JSUT)では、large-v3 がわずかに上です。一方、会議や雑談に近い ReazonSpeech では、Kotoba-Whisper が明確に上です。議会や打ち合わせの録音は後者に近いため、Kotoba-Whisper をデフォルトのモデルにしています。
- Windows 10 / 11 のパソコン(簡単版)。Mac・Linux はコマンド版で使えます
- NVIDIA の GPU(VRAM 6GB 以上を推奨。4GB でも動作します)
- Python 3.13 以降
- ffmpeg(簡単版では自動で入ります)
- 空き容量 4GB 程度(ライブラリ 2GB とモデル 1.5GB)
コマンドで使う場合
Section titled “コマンドで使う場合”簡単版の whisper.bat は Windows 専用です。Mac・Linux の方や、複数のファイルをまとめて処理したい方は、ZIP の中の transcribe.py をそのまま使えます。whisper.bat も、この transcribe.py を呼び出しています。
cd whisper-japython3 -m venv .venv.venv/bin/python -m pip install faster-whisper.venv/bin/python transcribe.py 会議.m4a初回はモデル(約1.5GB)のダウンロードが入るため、時間がかかります。
Windows でコマンドから使う場合は、python3 を py -3.13 に、.venv/bin/python を .venv\Scripts\python.exe に読み替えてください。GPU を使う場合は、あわせて nvidia-cublas-cu12 と nvidia-cudnn-cu12 も入れてください。ffmpeg も必要です(簡単版では自動で入ります)。
出力ファイル
Section titled “出力ファイル”入力と同じ場所(--out-dir で変更できます)に、次の4つのファイルが出力されます。
| ファイル | 内容 |
|---|---|
会議.txt | 本文のみ(1行=1セグメント) |
会議.srt | 字幕。VLC などで音声と同期して確認できる |
会議.md | [時:分:秒] 本文 の形。読み返しに便利 |
会議.json | すべてのセグメントの情報 |
以下は Windows の例です。Mac・Linux では .venv\Scripts\python.exe を .venv/bin/python に読み替えてください。
.venv\Scripts\python.exe transcribe.py 会議.m4a一部だけ試す
Section titled “一部だけ試す”長い音声では、まず一部の区間で試すと早く確認できます。
.venv\Scripts\python.exe transcribe.py 会議.m4a --start 00:30:00 --end 00:40:0000:30:00・30:00・1800(秒)のどれでも指定できます。タイムコードは元の音声の位置で出力されます。
固有名詞を正しく出す
Section titled “固有名詞を正しく出す”.venv\Scripts\python.exe transcribe.py 会議.m4a --initial-prompt "小平市議会 厚生委員会 安竹洋平 行政不服審査会"Whisper 系は、学習データにない人名や団体名を、同音の別の語に変換することがあります。--initial-prompt に正しい表記を並べると改善します。語彙は 20〜40 語くらいが目安です。多すぎると、逆に別の語に影響することがあります。
モデルを替える
Section titled “モデルを替える”.venv\Scripts\python.exe transcribe.py 会議.m4a --model large-v3.venv\Scripts\python.exe transcribe.py 会議.m4a --model medium--model には、Hugging Face の CTranslate2 リポジトリ名も指定できます。
まとめて処理する
Section titled “まとめて処理する”複数のファイルを一度に指定できます。出力先を分けたいときは --out-dir を使います。
.venv\Scripts\python.exe transcribe.py 録音1.mp3 録音2.mp4 --out-dir ./文字起こし出力形式は --formats txt,md のように絞ることもできます。
速度のめやす
Section titled “速度のめやす”NVIDIA GeForce RTX 2060(6GB)で、5分の音声を処理したところ、8秒で完了しました(約37倍速)。1時間の音声なら、1分半から2分程度の見込みです。処理時間は音声の内容や GPU によって変わります。
出力を生成AIで仕上げる
Section titled “出力を生成AIで仕上げる”文字起こしの結果には、誤字やフィラー(えー、あのー等)が残ります。生成AIに貼り付けて整えると、読みやすい会議録になります。手順は Google Colab 版のページ の「文字起こし結果を生成AIで仕上げる」で詳しく説明しています。
うまくいかないときは
Section titled “うまくいかないときは”GPU を使わず CPU になってしまう
Section titled “GPU を使わず CPU になってしまう”GPU が使えないときは、自動的に CPU に切り替わります。nvidia-smi でドライバが認識されているか確認してください。また、nvidia-cublas-cu12 と nvidia-cudnn-cu12 が入っているかを確認します。
cublas64_12.dll のエラーが出る
Section titled “cublas64_12.dll のエラーが出る”GPU 用のライブラリが見つからないときに起きます。このスクリプトは、ライブラリの場所を自動で登録しています。それでも出る場合は、--device cpu を付けて実行すると、CPU で動きます。
VRAM が足りないと言われる
Section titled “VRAM が足りないと言われる”小さいモデルに替えると、必要なメモリが減ります。--model medium を試してください。さらに余裕を持たせたい場合は、--compute-type int8 を付けてください。
同じ文が何度も繰り返される
Section titled “同じ文が何度も繰り返される”Whisper 系でよくある症状です。音声側に原因があることが多く、間投詞の連続や機器の雑音などで起きます。--start と --end で区間を変えて試すと、改善する場合があります。
固有名詞だけが崩れる
Section titled “固有名詞だけが崩れる”--initial-prompt に正しい表記を入れてください。それでも直らない語は、文字起こしの後に置換するのが確実です。
プライバシーについて
Section titled “プライバシーについて”文字起こしは、すべてお使いのパソコンの中で完結します。音声が外部に送信されることはありません。機密性の高い会議の録音でも、安心して処理できます。
ただし、出力したテキストを生成AIに貼り付けると、その内容は外部に送信されます。個人情報や非公開の情報を含む場合は、貼り付け先のサービスと設定を確認してください。
動作を確認した環境
Section titled “動作を確認した環境”| 項目 | 値 |
|---|---|
| GPU | NVIDIA GeForce RTX 2060 6GB |
| Python | 3.14.5 |
| faster-whisper | 1.2.1 |
| CTranslate2 | 4.9.0 |
| モデル | kotoba-tech/kotoba-whisper-v2.0-faster |