Mistral Small 3.1 を Intel Core i5-14600T のみでローカルで動かしてみる

llama.cpp Mistral-Small-3.1-24B-Instruct-2503-Q3_K_L

前回の記事では、Gemma 3 を内蔵 Intel UHD Graphics で動かすという内容を紹介しました。

その後 Mistral Small 3.1 というモデルも公開されました。

こちらも、NVIDIA RTX 4090 や 32GB RAM の Mac でも動作するとされています。

ただ、前回の記事でもお話ししましたように、自分は PC でゲームをしないため、NVIDIA や AMD の外部の GPU を所有していないため、なんとか手持ちの機材で動かしてみます。

“Mistral Small 3.1 を Intel Core i5-14600T のみでローカルで動かしてみる” の続きを読む

Gemma 3 を IPEX-LLM で内蔵 Intel UHD Graphics で動かしてみる

Gemma 3 がリリースされました。

Gemma 3 は軽量であることもうたっており、NVIDIA H100 GPU 1枚で高い性能を誇るとのことです。

また、自分は PC でゲームをしないため、NVIDIA や AMD の外部の GPU を所有していないのですが、Intel が開発している IPEX-LLM というのを用いると、

  • Intel Core Ultra プロセッサー
  • Intel Core プロセッサー 11 世代~14 世代
  • Intel Arc Aシリーズ、Bシリーズ

で Gemma 3 を動作させられるようです。

“Gemma 3 を IPEX-LLM で内蔵 Intel UHD Graphics で動かしてみる” の続きを読む

ARM 版 Windows 11 の Hyper-V で Fedora の Cloud Image を使ってみる

「ARM 版 Windows 11 の Hyper-V」の記事も「Cloud Image」の記事も少ないと思い記事にしてみました。

現在、自宅では cobbler による PXE ブート環境を整えており、

  • Intel 環境でも、ARM 環境でも
  • CentOS Stream 10 でも、Fedora でも、Debian でも

PXE ブートにより OS をインストールすることができます。

ただ、事前に cobbler import 作業が必要だったり、結局のところ OS インストール作業があるので、あまり使わない環境ならその手間をかけるほどのメリットがないことがあります。

そこで、Cloud Image を使ってみることにします、

“ARM 版 Windows 11 の Hyper-V で Fedora の Cloud Image を使ってみる” の続きを読む

Splunk 9.3 新機能 Ingest Actions(取り込みアクション)のローカル保存機能を使ってみる

この記事は Splunk Advent Calendar 2024 4日目の記事です。

Splunk Advent Calender は昨年も参加していまして二年連続の参加です。

Splunk の Ingest Actions(取り込みアクション)

今回ご紹介するのは、Splunk の Ingest Actions(取り込みアクション)についてです。

Splunk はいろいろな活用方法がありますが、一日のログ取り込み容量によるライセンスが存在しています。

Ingest Actions により、

  • 取り込み前にデータを成形したり
  • Splunk にインデックス化しなくても良いログを別途書き出す

ことができます。

“Splunk 9.3 新機能 Ingest Actions(取り込みアクション)のローカル保存機能を使ってみる” の続きを読む