コンテンツにスキップ

Whisperをローカルで動かす高精度・高速な文字起こし

Google Colab を使った文字起こしの方法は、ブラウザだけで使える手軽な方法です。一方、NVIDIA の GPU を搭載したパソコンをお持ちであれば、自分のパソコン(ローカル)で動かす方が有利な場合があります。

このページでは、ローカルで動かす方法を紹介します。特徴は次のとおりです。

  • 日本語に特化したモデルを使うため、会議や雑談のような自然な会話で誤りが少ない
  • GPU を使うと非常に高速で、1時間の音声が1〜2分程度で処理できる
  • Colab の無料枠のような利用制限がなく、何度でも使える
  • 音声を外部に送らず、パソコンの中だけで処理が完結する

簡単版(ダブルクリックで使う)

Section titled “簡単版(ダブルクリックで使う)”

パソコン操作に自信がない方は、こちらの方法がお勧めです。コマンドを入力せずに使えます。必要なのは初回の Python インストールだけです。

  1. Python を入れる(初回だけ)
    • Python のダウンロードページ を開きます。
    • 「Download Python」を押してインストールします。最初の画面で、PATH に追加するチェックを入れてください。
  2. 次のファイルをダウンロードします。
  3. ZIP を展開します(右クリック→「すべて展開」)。デスクトップなど、分かりやすい場所がよいです。
  4. フォルダの中の whisper.bat をダブルクリックします。
    • 初回だけ、環境の準備が自動で始まります。数分かかります。
    • 2回目以降は、すぐに画面が開きます。
  5. 画面が開いたら「参照…」で音声ファイルを選び、「文字起こし開始」を押します。

文字起こしが終わると、音声ファイルと同じフォルダに次の3つができます。

ファイル内容
会議.txt本文のみ
会議.srt字幕。VLC などで音声と同期して確認できる
会議.md時刻付きの本文。読み返しに便利

Google Colab 版との違いをまとめると、次のようになります。

項目ローカル(このページ)Google Colab
認識精度日本語特化モデルで高い高い
1時間の音声の処理時間1〜2分程度(RTX 2060 で実測)10〜30分程度
利用回数の制限なしあり(比較的すぐ上限に達する)
音声の送信なし(パソコン内で完結)Google へアップロード
用意するものNVIDIA GPU 搭載のパソコンブラウザと Google アカウント
準備の手間コマンドで環境を構築リンクを開くだけ

Google Colab の無償版は、GPU を使える時間に上限があります。長い会議や複数の録音を続けて処理すると、比較的すぐに上限に達することがあります。上限に達すると、しばらく待つか有料プランに切り替える必要があります。ローカルで動かす場合はこの制限がなく、何度でも処理できます。

Whisper は多言語に対応したモデルです。日本語に特化した Kotoba-Whisper を使うと、自然な会話での誤りが減ります。文字誤り率(CER、低いほどよい)は次のとおりです(Kotoba-Whisper 公式のモデルカードの値)。

モデルCommonVoice 8JSUTReazonSpeech
Kotoba-Whisper v2.09.28.411.6
openai/whisper-large-v38.57.114.9

読み上げ音声(CommonVoice と JSUT)では、large-v3 がわずかに上です。一方、会議や雑談に近い ReazonSpeech では、Kotoba-Whisper が明確に上です。議会や打ち合わせの録音は後者に近いため、Kotoba-Whisper をデフォルトのモデルにしています。

  • Windows 10 / 11 のパソコン(簡単版)。Mac・Linux はコマンド版で使えます
  • NVIDIA の GPU(VRAM 6GB 以上を推奨。4GB でも動作します)
  • Python 3.13 以降
  • ffmpeg(簡単版では自動で入ります)
  • 空き容量 4GB 程度(ライブラリ 2GB とモデル 1.5GB)

簡単版の whisper.bat は Windows 専用です。Mac・Linux の方や、複数のファイルをまとめて処理したい方は、ZIP の中の transcribe.py をそのまま使えます。whisper.bat も、この transcribe.py を呼び出しています。

ターミナルウィンドウ
cd whisper-ja
python3 -m venv .venv
.venv/bin/python -m pip install faster-whisper
.venv/bin/python transcribe.py 会議.m4a

初回はモデル(約1.5GB)のダウンロードが入るため、時間がかかります。

Windows でコマンドから使う場合は、python3 を py -3.13 に、.venv/bin/python を .venv\Scripts\python.exe に読み替えてください。GPU を使う場合は、あわせて nvidia-cublas-cu12 と nvidia-cudnn-cu12 も入れてください。ffmpeg も必要です(簡単版では自動で入ります)。

入力と同じ場所(--out-dir で変更できます)に、次の4つのファイルが出力されます。

ファイル内容
会議.txt本文のみ(1行=1セグメント)
会議.srt字幕。VLC などで音声と同期して確認できる
会議.md[時:分:秒] 本文 の形。読み返しに便利
会議.jsonすべてのセグメントの情報

以下は Windows の例です。Mac・Linux では .venv\Scripts\python.exe を .venv/bin/python に読み替えてください。

ターミナルウィンドウ
.venv\Scripts\python.exe transcribe.py 会議.m4a

長い音声では、まず一部の区間で試すと早く確認できます。

ターミナルウィンドウ
.venv\Scripts\python.exe transcribe.py 会議.m4a --start 00:30:00 --end 00:40:00

00:30:00・30:00・1800(秒)のどれでも指定できます。タイムコードは元の音声の位置で出力されます。

ターミナルウィンドウ
.venv\Scripts\python.exe transcribe.py 会議.m4a --initial-prompt "小平市議会 厚生委員会 安竹洋平 行政不服審査会"

Whisper 系は、学習データにない人名や団体名を、同音の別の語に変換することがあります。--initial-prompt に正しい表記を並べると改善します。語彙は 20〜40 語くらいが目安です。多すぎると、逆に別の語に影響することがあります。

ターミナルウィンドウ
.venv\Scripts\python.exe transcribe.py 会議.m4a --model large-v3
.venv\Scripts\python.exe transcribe.py 会議.m4a --model medium

--model には、Hugging Face の CTranslate2 リポジトリ名も指定できます。

複数のファイルを一度に指定できます。出力先を分けたいときは --out-dir を使います。

ターミナルウィンドウ
.venv\Scripts\python.exe transcribe.py 録音1.mp3 録音2.mp4 --out-dir ./文字起こし

出力形式は --formats txt,md のように絞ることもできます。

NVIDIA GeForce RTX 2060(6GB)で、5分の音声を処理したところ、8秒で完了しました(約37倍速)。1時間の音声なら、1分半から2分程度の見込みです。処理時間は音声の内容や GPU によって変わります。

文字起こしの結果には、誤字やフィラー(えー、あのー等)が残ります。生成AIに貼り付けて整えると、読みやすい会議録になります。手順は Google Colab 版のページ の「文字起こし結果を生成AIで仕上げる」で詳しく説明しています。

GPU を使わず CPU になってしまう

Section titled “GPU を使わず CPU になってしまう”

GPU が使えないときは、自動的に CPU に切り替わります。nvidia-smi でドライバが認識されているか確認してください。また、nvidia-cublas-cu12 と nvidia-cudnn-cu12 が入っているかを確認します。

GPU 用のライブラリが見つからないときに起きます。このスクリプトは、ライブラリの場所を自動で登録しています。それでも出る場合は、--device cpu を付けて実行すると、CPU で動きます。

小さいモデルに替えると、必要なメモリが減ります。--model medium を試してください。さらに余裕を持たせたい場合は、--compute-type int8 を付けてください。

Whisper 系でよくある症状です。音声側に原因があることが多く、間投詞の連続や機器の雑音などで起きます。--start と --end で区間を変えて試すと、改善する場合があります。

--initial-prompt に正しい表記を入れてください。それでも直らない語は、文字起こしの後に置換するのが確実です。

文字起こしは、すべてお使いのパソコンの中で完結します。音声が外部に送信されることはありません。機密性の高い会議の録音でも、安心して処理できます。

ただし、出力したテキストを生成AIに貼り付けると、その内容は外部に送信されます。個人情報や非公開の情報を含む場合は、貼り付け先のサービスと設定を確認してください。

項目値
GPUNVIDIA GeForce RTX 2060 6GB
Python3.14.5
faster-whisper1.2.1
CTranslate24.9.0
モデルkotoba-tech/kotoba-whisper-v2.0-faster