このページの本文へ

前へ 1 2 3 4 次へ

新清士の「メタバース・プレゼンス」 第94回

1000円あればOpenAIレベルのAIが作れる　DeepSeekで注目の「蒸留」とは

2025年02月10日 07時00分更新

文● 新清士

  • この記事をはてなブックマークに追加
  • シェア
  • 一覧
  • 本文印刷

実際に蒸留モデル「s1-32B」を試してみる

　s1-32BはGitHubに公開されているので、ダウンロードするとローカルLLMとして試すことができます。LM Studioにダウンロードして動かし、前述の例題を解いてみました。結果は5回解いてみて、やっと正解にたどり着くというものでした。s1-32Bがなぜ間違えたのかは、筆者には推論過程を見てもまったく理解できません。しかし、用意された設問が、数学の問題でも難易度の高い問題であることが確認できました。

s1-32Bで問題を解かせているログの最初と最後の抜粋。5926トークンを使って推論をしている。単純な比較はできないが日本語換算すると7200字程度に該当するため、相当な長い推論を通じて答えている

　「DeepSeek-R1-Distill-Qwen-32B-Japanese」でも試してみました。

　このモデルは、DeepSeekがリリースした軽量版にサイバーエージェントが、日本語の追加学習をしたものです（参考：「DeepSeek R1、無料で使えるAIとしては最強クラス」 ）。結果は一発で、正解を導き出しました。

　一方で、ChatGPT 4oは3回試していずれも不正解。しかし、o1とo3-miniは1回目で正解を出し、その優秀さを感じました。

DeepSeek R1の32Bまで軽量化されていても、正しい正解を一発で出してきたのは相当優秀であると考えられる。薄い灰色が推論過程。6197トークンを使って推論している。日本語換算すると約7500字

o1は1回目で正しい回答を導き出した。設問の最初と最後の部分を抜粋

前へ 1 2 3 4 次へ

カテゴリートップへ

この連載の記事
この記事の編集者は以下の記事をオススメしています
Amazon.co.jp売れ筋ランキング（PCゲーミングアクセサリ）

ASCII倶楽部

ASCII倶楽部とは

注目ニュース

  • 角川アスキー総合研究所

プレミアム実機レビュー

ピックアップ
Amazon.co.jp売れ筋ランキング（パソコン・周辺機器）

デジタル用語辞典

ASCII.jpメール デジタルMac/iPodマガジン