~/guides/run-llm-in-browser
ブラウザでLLMを動かす
言語モデルは、インストールもアカウントもなしに、Webページの中であなたの端末のグラフィックスチップを使って動かせます。下で実際に試してから、必要なものを確認しましょう。ダウンロードサイズ、実測の速度、対応ブラウザ、そして制約です。
ここで試す
Mentriaのエンジンが、このタブの中でモデルを動かします。初回はモデルをダウンロードしてブラウザに保存します。2回目からは数秒で起動し、オフラインでも動きます。
プロンプトはサーバーではなく、この端末上で処理されます。詳しくはプライバシーをご覧ください。
しくみ
WebGPUで、WebページがあなたのGPUを使えます。今のブラウザでは、ゲームが使うのと同じGPUの上で、ページが自分のプログラムを動かせます。MentriaのエンジンはWebGPU向けにゼロから書かれていて、モデルの計算をすべて小さなGPUプログラムとして実行します。
モデルは圧縮して収めています。通常は1つの数値に16ビットを使いますが、ここでは4ビット（27Bでは約1ビット）で保存します。そのため、8億個の数値を持つモデルでも、ダウンロードは490 MBで済みます。
トークンを1つずつ書き出します。プロンプトは単語の断片である「トークン」に分けられ、モデルはあなたのGPU上で次のトークンを予測し続けます。速度は下の実測値のとおりです。
必要なもの
- WebGPUに対応したブラウザ。最近のブラウザの多くが対応しています。対応状況は下の表のとおりです。
- メモリの空き。モデルと作業用のメモリが、端末のグラフィックスメモリに収まる必要があります。スマートフォンやMacでは、このメモリを開いているほかのアプリと共有しています。
- ダウンロード用のストレージ。サイトのデータを消去するか、ブラウザが容量を必要とするまで、モデルは保存されたままです。
- 初回は数分かかることがあります（回線が遅い場合）。
| ブラウザ | 現在使える環境 |
|---|---|
| Chrome、Edge、その他のChromium系ブラウザ | Windows、macOS、ChromeOSでは標準で有効です（バージョン113以降）。Android 12以降のほとんどのスマートフォン（121以降）と、一部のGPUを搭載したLinux（144以降）でも有効です。 |
| Safari | macOS、iOS、iPadOSのSafari 26で標準で有効です。 |
| Firefox | Windows（141以降）と、Appleシリコンを搭載したMac（macOS 26では145以降、それより前のmacOSでは147以降）で標準で有効です。LinuxとAndroidにはまだ対応していません。 |
出典：WebGPUグループの実装状況ページ。
あなたの端末で動くモデル
| モデル | ダウンロード | Mentriaで使う環境 |
|---|---|---|
| Qwen3.5 0.8B | 490 MB | WebGPUに対応したすべての端末（スマートフォンを含む）。 |
| Qwen3.5 2B | 1.4 GB | メモリが8 GB以上の端末。 |
| Qwen3.5 4B | 2.8 GB | モデルが収まるパソコンと、一部のハイエンドなAndroidスマートフォン。 |
| Bonsai 27B | 3.8 GB | 専用のグラフィックスカードを搭載したパソコンと、Appleシリコンを搭載したMac。 |
Mentriaは最も小さいモデルから始め、端末に余裕があれば大きいモデルを提案します。AIチャットで切り替えられます。4つのモデルはすべて画像も理解できます。
速度
| モデル | 起動 | 最初の出力 | 速度 |
|---|---|---|---|
| Qwen3.5 0.8B | 2.5秒 | 0.1秒 | 157トークン/秒 |
| Qwen3.5 2B | 4.1秒 | 0.2秒 | 62トークン/秒 |
| Qwen3.5 4B | 7.4秒 | 0.4秒 | 25トークン/秒 |
| Bonsai 27B | 9.0秒 | 1.2秒 | 39トークン/秒 |
1トークンは英語でおよそ4分の3単語なので、毎秒25トークンでも、ほとんどの人が文章を読むより速く表示されます。ここで27Bが4Bより速いのは、エンジンが27BをApple GPU向けに調整した設定で動かしているためで、小さいモデルにはまだその設定を使っていません。
2026年10月、メモリ24 GBのApple M4 Pro上のChrome 154で、Mentriaのベンチマークを使って計測しました。起動：保存済みのモデルを読み込む時間。最初の出力と速度：120トークンの回答を3回生成したときの中央値。結果は端末によって変わります。上のデモでは、あなたの端末での数値が表示されます。
制約
- 初回のダウンロードは大きめです。490 MBから3.8 GBあります。モバイル回線では影響が大きいため、Mentriaは低速の回線や従量制の回線では、ダウンロードの前に確認します。
- スマートフォンはメモリに最も余裕がありません。スマートフォンのブラウザはメモリを使いすぎたタブを閉じてしまうため、スマートフォンでは小さいモデルを使います。
- 小さいモデルは間違いが多めです。説明、書き換え、要約は得意ですが、事実や推論ではクラウドの大規模モデルに大きく劣ります。大事なことは必ず確認してください。
- 一度に読めるのは数ページ分です。ブラウザのモデルが扱えるコンテキストには限りがあるため、とても長い文書は分けて渡す必要があります。
- GPUに負荷がかかります。長い回答ではゲームと同じようにバッテリーを使い、端末が温かくなります。
- ブラウザに削除されることがあります。ストレージが不足すると、ブラウザが保存済みのモデルを削除することがあり、次回はもう一度ダウンロードします。
Mentriaで使う
- AIチャット：モデルと会話したり、画像を見せたり、大きいモデルを選んだりできます。
- 画像を注釈：画像の説明、文字起こし、タグを作ります。
- モチベーション名言：オリジナルの名言を書くように調整した小さなモデルです。
- プライバシー：端末に残るものと、ネットワークを使うもの。
2026年10月9日更新。