はじめに
Edge AI を試してみたく Phi Silica がリリースされるのを心待ちにしている今日この頃ですが、GPU がない PC でも CPU （NPU はまだ対応していない）で Edge AI がいくつか試せる状況が整っているので、現状を調べてみました。
具体的には、Microsoft 関連だと Phi 3 と Phi 3.5 が 使用できます。
（Phi 4 は 2025/01 中旬くらいにリリース予定とのこと）
CPU 対応の提供モデル一覧（2025/01 現在）
| Phi 3 | Phi 3.5 | |||
|---|---|---|---|---|
| Short Context | Long Context | Short Context | Long Context | |
| Mini | ◯ 4k | ◯ 128k | X | ◯ 128k |
| Smal | X | X | X | X |
| Medium | ◯ 4k | ◯ 128k | X | X |
Hugging Face のリポジトリとダウンロードのコマンド
Phi3 mini 4k
https://huggingface.co/microsoft/Phi-3-mini-4k-instruct-onnx/tree/main/cpu_and_mobile
huggingface-cli download microsoft/Phi-3-mini-4k-instruct-onnx --include cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/* --local-dir <your-download-dir>
Phi3 mini 128k
https://huggingface.co/microsoft/Phi-3-mini-128k-instruct-onnx/tree/main/cpu_and_mobile
huggingface-cli download microsoft/Phi-3-mini-128k-instruct-onnx --include cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4* --local-dir <your-download-dir>
Phi3 medium 4k
https://huggingface.co/microsoft/Phi-3-medium-4k-instruct-onnx-cpu/tree/main
huggingface-cli download microsoft/Phi-3-medium-4k-instruct-onnx-cpu --include cpu-int4-rtn-block-32-acc-level-4/* --local-dir <your-download-dir>
Phi3 medium 128k
https://huggingface.co/microsoft/Phi-3-medium-128k-instruct-onnx-cpu/tree/main
huggingface-cli download microsoft/Phi-3-medium-128k-instruct-onnx-cpu --include cpu-int4-rtn-block-32-acc-level-4/* --local-dir <your-download-dir>
Phi3.5 mini 128k
https://huggingface.co/microsoft/Phi-3.5-mini-instruct-onnx/tree/main/cpu_and_mobile
huggingface-cli download microsoft/Phi-3.5-mini-instruct-onnx --include cpu_and_mobile/cpu-int4-awq-block-128-acc-level-4/* --local-dir <your-download-dir>\phi-3.5-mini-instruct-cpu-int4-awq-block-128-acc-level-4-onnx
