ローカル LLM は ChatGPT や Gemini の代替品ではない:私の経験

AI とテクノロジーの新たな発展を追っている人なら、大量のテクノロジー関連のインフルエンサーがローカルの大規模言語モデル (LLM) セットアップを推奨しているのを見たことがあるはずです。プライバシーを重視した LLM を PC 上で完全に実行できるというアイデアを聞いたとき、私は興奮してすぐに試してみました。ここで重要なのは、ローカル LLM はいくつかの非常に特殊な使用例では利点がありますが、ワークステーション上で実行されている間は ChatGPT やその他の大きなテクノロジー AI に代わるものではありません。その理由を説明しましょう…

目次

ローカル LLM 対 ChatGPT:リアリティ チェック

まず直面する最も大きなボトルネックは、ハードウェアの制限です。私はゲームをしない平均的なラップトップ ユーザーで、64 GB の 3200 MHz RAM と 1 TB をはるかに超える高速ストレージを備えた 2 つの NVMe M.2 SSD を搭載した Dell Latitude 5520 ラップトップを所有しています。ただし、この分野のほとんどのワークステーションには専用の GPU がないか、ローエンドの GPU がそのまま搭載されています。

ローカル LLM を実行する場合、RAM やストレージにはあまり依存せず、PC の計算能力、つまり CPU や GPU に依存することが多くなります。そのため、Intel Integrated Graphics を搭載した私の i7 プロセッサでは、より大きなマルチモーダル モデルを実行できません。ありがたいことに、lfm2.5- Thinking:1.2b など、まだ多くの選択肢がありました。 、大臣-3:3b 、花崗岩 4:3b 、より人気のあるllama3 とともに とファイ 3 モデル。

それでは、比較を大局的に理解するために計算をしてみましょう。 lfm2.5 これは本質的に小規模言語モデル (SLM) であり、私のような平均的な PC で実行する場合、2 つの大きな制限があります。1 つは非常に少ない計算能力と、SLM 自体のパラメーター数 (頭脳) です。比較すると、ChatGPT のようなクラウド LLM は、文字通りのスーパーコンピューター上で実行されながら、テラバイト単位のデータを数秒で処理します。

この計算を念頭に置いて、地元のlfm2.5- Thinking:1.2b の回答をいくつか見てみましょう。 ChatGPT の無料版。制限を示した後、ローカル SLM が実際に商用 LLM を上回るユースケースについても見ていきます。

ロジック テスト:ローカル LLM が失敗した場合

注: この比較の目的はローカル LLM を非難することではありません。ハイエンド PC 上にセットアップされたローカル LLM は驚異的な効果を発揮します。しかし、私の目的は、私のような平均的なユーザーに、低価格帯から中価格帯の PC で実行されるローカル言語モデルでは ChatGPT や Gemini に匹敵する結果は得られないことを示すことです。

1. 「トリビアは無効です」プロンプト:

小規模なモデルには、Wikipedia データベース全体を保存するためのパラメーター数がありません。特定の歴史的事実について尋ねても、「わかりません」とは言わず、おそらく幻覚を見るでしょう。

ローカル LLM:間違った幻覚的な答え

ChatGPT:正解

2. 「トーン障害」プロンプト:

小規模なローカルモデルは通常、感情的なニュアンスに苦労します。彼らは人間の社会的品位を把握するのに十分なパラメータを持っていないため、攻撃的なロボットのような出力と過度に受動的な出力の間で激しく揺れ動く傾向があります。

ローカル LLM ： 厳しすぎて無愛想です。

ChatGPT:完璧ではありませんが、許容範囲

3. 「ごちゃ混ぜの入力エラー」プロンプト:

私たちはクエリを常に注意深くフォーマットして構造化しているわけではありません。ローカル SLM には、構造化された応答を提供するために構造化されたプロンプトが必要です。そうでないと、すべてが台無しになるだけです。

ローカル LLM ： 曖昧すぎて役に立たない

ChatGPT:詳細なステップバイステップのソリューション

4. 「『私が X であるかのように説明してください』の失敗」プロンプト:

複雑で抽象的な概念をまったく無関係な主題にマッピングするには、膨大なコンピューティング能力が必要です。小さなモデルでは、2 つの異なるドメインをマージしようとするとプロットが失われることがよくあります。

ローカル LLM ： 意味がありません

ChatGPT:例え話の正しい使用法

5. 「コンテキストが無効です」プロンプト:

漠然とした技術的な質問をすると、クラウド モデルは膨大なトレーニング データを使用して、最も一般的な最新のソリューションを推測します。小規模なローカル モデルは、ほとんどの場合、一般的で時代遅れのアドバイスを提供します。

ローカル LLM :一般的なソリューション

ChatGPT:問題を解決できる可能性が非常に高い

「コンテキスト」の問題

会話がいくつかの質問よりも長く続くと、ローカルの SLM セットアップに関する別の大きな問題が発生しました。ここでも 64 GB の RAM で十分でしたが、処理能力が主なボトルネックでした。ファンが非常にうるさく回転し始め、ラップトップが熱くなり、Ollama が応答するまでに非常に時間がかかるようになり、場合によってはフリーズすることもありました。そのため、PC が溶けるのを避けるために、ローカル AI アプリはモデルのメモリを大幅に制限します。

ChatGPT や Gemini と長時間会話することに慣れている場合、この問題は大きな問題となる可能性があります。私にとっては確かにそうでした。前に説明したように、これらのクラウド LLM は最先端の GPU を搭載した超高速サーバー上で実行され、大きなコンテキスト ウィンドウを簡単に処理できるようになります。

ローカル AI が実際に勝つとき

この時点で、ローカル LLM は実質的に役に立たないと思われるかもしれませんが、待ってください。実際に非常に役立つ状況はたくさんあります。以下にいくつかの例を示します。

「デジタル金庫」 (完全なプライバシー)

画像出典:Freepik AI

ChatGPT や Gemini のサーバーにアップロードしたくない機密文書に取り組んでいる場合、ローカル LLM はそれらのファイルを処理するための 100% プライベート ソリューションです。あるいは、「AI の応答を改善する」ために人間のモデレーターがあなたの個人的な事柄を読み上げることを心配せずに、単に個人的な問題について話すこともできます。

「機内モード」アシスタント

クラウド AI が動作するには、インターネットに常時接続する必要があります。世界のほとんどの地域では接続が安定しているため、通常は問題ありません。ただし、インターネットが利用できない場合や、インターネットに接続したくない場合もあります。そんなときは、ローカル LLM が窮地を救ってくれる可能性があります。

フィルタリングされていないクリエイティブ ライター

ほとんどの商用 AI チャットボットは、大衆向けにフィルタリングされたエクスペリエンスを提供します。犯罪小説などのクリエイティブなプロジェクトに取り組んでいる場合、これは特に衰弱させる可能性があります。すべての無料言語モデルがそのようなフィルタリングされていない応答を提供するわけではありませんが、試してみることができる無修正の応答がいくつかあります。

真の「コストゼロ」アシスタント

画像出典:Freepik AI

Ollama や GPT4ALL などのアプリをセットアップすると、真のサブスクリプション不要の無制限のソリューションが得られます。煩わしい 1 日あたりの制限に達することなく、好きなだけ使用できます。議論したローカル SLM 設定の制限の範囲内で期待を維持する場合、プレミアム AI サブスクリプションのすべてではなく、少なくとも一部を廃止することは良い方法です。

究極のロールプレイ ソリューション

いくつかの端末コマンドの操作に慣れている場合は、ローカル LLM をカスタマイズして、対象分野の専門家として機能させることができます。たとえば、コンテンツ編集者、コピーライター、法律コンサルタント、または文字通り任意の専門家のように機能させることができます。

プライベート Web アシスタント

これは少し高度な使用例ですが、ローカル LLM を Harpa AI などの Web アシスタント ブラウザ拡張機能に接続できます。これにより、Perplexity Comet などのプレミアム製品が提供する、オフラインでプライバシーを重視した AI ブラウザ エクスペリエンスを得ることができます。 とChatGPT アトラス 多くの場合、企業データ監視を伴うオファーです。

ハイブリッド セットアップが本当の答えである理由

私が皆さんと共有したこの経験をすべて経た結果、ハイブリッド AI セットアップが最善の方法であるという結論に達しました。ローカルの SLM を手元に用意しておくと、プライベートな体験が必要なときにいつでもすぐに起動できるので便利です。ただし、一般的な研究中心のタスクには、Gemini Pro を使用することを好みます。このようにして、両方の素晴らしいテクノロジーを最大限に活用し、両方の長所を得ることができます。

ちなみに、Ollama と GPT4ALL だけが選択肢ではありません。 Open WebUI は、ローカル LLM をセットアップするもう 1 つの簡単な方法です。