はじめに
Edge AI を試してみたく Phi Silica がリリースされるのを心待ちにしている今日この頃ですが、GPU がない PC でも CPU （NPU はまだ対応していない）で Edge AI がいくつか試せる状況が整っているので、現状を調べてみました。
具体的には、Microsoft 関連だと Phi 3, Phi 3.5 と Phi 4 が 使用できます。
CPU 対応の提供モデル一覧（2025/03 現在）
| Phi 3 | Phi 3.5 | Phi 4 | ||||
|---|---|---|---|---|---|---|
| Short Context | Long Context | Short Context | Long Context | Short Context | Long Context | |
| Mini | ◯ 4k | ◯ 128k | X | ◯ 128k | X | ◯ 128k |
| Smal | X | X | X | X | X | X |
| Medium | ◯ 4k | ◯ 128k | X | X | X | X |
Hugging Face のリポジトリとダウンロードのコマンド
Phi3 mini 4k
https://huggingface.co/microsoft/Phi-3-mini-4k-instruct-onnx/tree/main/cpu_and_mobile
huggingface-cli download microsoft/Phi-3-mini-4k-instruct-onnx --include cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/* --local-dir .
Phi3 mini 128k
https://huggingface.co/microsoft/Phi-3-mini-128k-instruct-onnx/tree/main/cpu_and_mobile
huggingface-cli download microsoft/Phi-3-mini-128k-instruct-onnx --include cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/* --local-dir .
Phi3 medium 4k
https://huggingface.co/microsoft/Phi-3-medium-4k-instruct-onnx-cpu/tree/main
huggingface-cli download microsoft/Phi-3-medium-4k-instruct-onnx-cpu --include cpu-int4-rtn-block-32-acc-level-4/* --local-dir .
Phi3 medium 128k
https://huggingface.co/microsoft/Phi-3-medium-128k-instruct-onnx-cpu/tree/main
huggingface-cli download microsoft/Phi-3-medium-128k-instruct-onnx-cpu --include cpu-int4-rtn-block-32-acc-level-4/* --local-dir .
Phi3.5 mini 128k
https://huggingface.co/microsoft/Phi-3.5-mini-instruct-onnx/tree/main/cpu_and_mobile
huggingface-cli download microsoft/Phi-3.5-mini-instruct-onnx --include cpu_and_mobile/cpu-int4-awq-block-128-acc-level-4/* --local-dir .
Phi4 mini 128k
https://huggingface.co/microsoft/Phi-4-mini-instruct-onnx/tree/main/cpu_and_mobile
huggingface-cli download microsoft/Phi-4-mini-instruct-onnx --include cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/* --local-dir .
