Mistral Small 3.1 を Intel Core i5-14600T のみでローカルで動かしてみる

llama.cpp Mistral-Small-3.1-24B-Instruct-2503-Q3_K_L

前回の記事では、Gemma 3 を内蔵 Intel UHD Graphics で動かすという内容を紹介しました。

その後 Mistral Small 3.1 というモデルも公開されました。

こちらも、NVIDIA RTX 4090 や 32GB RAM の Mac でも動作するとされています。

ただ、前回の記事でもお話ししましたように、自分は PC でゲームをしないため、NVIDIA や AMD の外部の GPU を所有していないため、なんとか手持ちの機材で動かしてみます。

“Mistral Small 3.1 を Intel Core i5-14600T のみでローカルで動かしてみる” の続きを読む

Gemma 3 を IPEX-LLM で内蔵 Intel UHD Graphics で動かしてみる

Gemma 3 がリリースされました。

Gemma 3 は軽量であることもうたっており、NVIDIA H100 GPU 1枚で高い性能を誇るとのことです。

また、自分は PC でゲームをしないため、NVIDIA や AMD の外部の GPU を所有していないのですが、Intel が開発している IPEX-LLM というのを用いると、

  • Intel Core Ultra プロセッサー
  • Intel Core プロセッサー 11 世代~14 世代
  • Intel Arc Aシリーズ、Bシリーズ

で Gemma 3 を動作させられるようです。

“Gemma 3 を IPEX-LLM で内蔵 Intel UHD Graphics で動かしてみる” の続きを読む