はじめに
LLM を使うのはもう当たり前ですが、最近はローカル PC の SLM も手軽に試せる環境が整ってきました。
そこで、C# を使ってローカル PC の SLM でお手軽にエッジ AI を始める方法をご紹介します。
CPU か NPU か
これまでは NVIDIA の GPU を使うのが一般的でしたが、GPU を搭載したラップトップ PC を所持している方は少ないと思いますので、お手軽に試す場合の選択肢は CPU か NPU になります。NPU で SLM を簡単に試す方法も現状では Copilot+ PC 上での Phi Silica or Deepseek R1 Distilled に限られるので、第一の選択肢は CPU ということになります。
CPU で SLM を試すには
C# を使って CPU 上で SLM を自由に操作するには ONNX ランタイムを使います。
- ONNX ランタイムに最適化されたモデルが提供されている
- 16GB の メモリで実用的な速度で動く
という条件を考えた場合には Microsoft の Phi シリーズがおすすめです。
モデルは Hugging Face から DL できます。
CPU で動かす場合には、CPU 上の ONNX ランタイムを使用して実行できるように最適化されたモデルを使用します。
2025/3 現在では以下のモデルが提供されています。
CPU 上の ONNX ランタイム対応の提供モデル一覧（2025/03 現在）
| Phi 3 | Phi 3.5 | Phi 4 | ||||
|---|---|---|---|---|---|---|
| Short Context | Long Context | Short Context | Long Context | Short Context | Long Context | |
| Mini | ◯ 4k | ◯ 128k | X | ◯ 128k | X | ◯ 128k |
| Smal | X | X | X | X | X | X |
| Medium | ◯ 4k | ◯ 128k | X | X | X | X |
ホストされているサイトやダウンロード方法については以下の記事を参照ください。
hiro128.hatenablog.jp
NPU で SLM を試すには
C# を使って NPU 上で SLM を自由に操作するには Copilot+ PC 上でWindows Copilot Runtime を使います。
learn.microsoft.com
モデルは Phi Silica となります。
サポートしている Windows 11 Insider Preview Build を使用していれば、Windows Update で降ってきます。
Phi Silica を使うには現在以下の環境が必要です。
- Copilot+ PC (Snapdragon X)
- Windows App SDK (1.7.0-experimental3)
- Windows 11 Insider Preview Build 26120.3073 (開発およびベータ チャネル)
Phi Silica を使う前に読んでおくとよい記事をまとめました。
hiro128.hatenablog.jp
公式のサンプル WinUI アプリで Phi Silica を試す方法は以下を参照下さい。
hiro128.hatenablog.jp
コンソールアプリで自由に Phi Silica を試す方法は以下を参照下さい。
hiro128.hatenablog.jp
