Upscayl:ローカル AI 画像のアップスケーリング - クラウドは必要ありません

Upscayl - クラウドを使わずにローカルで AI を使用して画像を強化

更新日:2024 年 9 月 6 日

普段、私はAIの多くのことをかなり軽蔑しています。人工知能そのものの考え方に本質的に問題があるからではありません。いいえ、私が嫌いなのは、AI であると称するテクノロジーや製品に関する話題や誇大宣伝です。それらは、せいぜい、マーケティング上のナンセンスの厚い層が泡立った美化された統計に過ぎません。さて... 古くて低解像度でぼやけた画像がたくさんあるとします。改善してもらえますか? AI を使用しますか?

2000 年代初頭のテレビの犯罪番組を見たことがあるなら、内容を「強化」するだけです。ただし、画像を拡大するたびに、熱力学の法則に違反するため、ジェームズ・マクスウェルとルートヴィヒ・ボルツマンは墓場で回転することになります。エントロピーとかそれとか。何もないところからデータを生み出すこと。魔法。しかし、実際には、それが AI を活用したプログラムで約束されているのです。問題は、クラウドの過負荷に魂を委ねることなく AI を実現できるかということです。ああ、やっぱりできるようですね！そのようなツールの 1 つが Upscayl です。オープンソース、クロスプラットフォーム、AI 画像エンハンサー。素晴らしいですね。それでは、実際に宣伝どおりに機能するかどうかを見てみましょう。

簡単なセットアップ、真のオフライン

あらゆる種類の AI に関する私の要件は、ローカル設定を作成できることです。しかも手順はあまり多くありません。 Upscayl はこれら両方のボックスをチェックします。 Snap Store からツールの Snap バージョンをダウンロードし、プログラムを Kubuntu 24.04 (Linux) にインストールしました。何も問題はなく、簡単かつ迅速に導入できます。

次に、プログラムのネットワーク接続も無効にしました。スナップはサンドボックス化された Linux アプリケーションであり、宣言されたリソースへのアクセスを選択的に有効または無効にすることができます。この特定のケースでは、Upscayl はホーム (ファイル用)、OpenGL など (実際のレンダリングと処理用)、およびその他のいくつかのリソースにアクセスする必要があります。ネットワーク プラグもリストに表示され、デフォルトで有効になっています。これはほとんどのスナップに当てはまり、それ自体は問題ではありません。

しかし、Upscayl が本当に 100% ローカルの魔法を実行できるかどうかを確認するために、ネットワーク プラグを手動で切断しました。実際のところ、プログラムに関する限り、私のマシンにはネットワークがまったくありません。次に、Upscayl を起動し、それを使用していくつかの画像を「修正」しました。問題も苦情もありません。素晴らしい。

専用グラフィックス カードの要件 (Vulkan 互換)

Upscayl を使用したい場合は、比較的最新の高性能のディスクリート グラフィック カードを搭載したマシンが必要です。ほとんどの統合 GPU は動作しません。問題は、「モダン」と「有能」とは実際には何を意味するのか、ということです。さて、私のテスト ボックスは 2014 IdeaPad ラップトップで、SSD のアップグレード後、最近 Kubuntu 24.04 をインストールしました。システムには古い Nvidia カードが搭載されています。そしてそれはうまくいきました。最新世代のデバイスほど高速ではないかもしれませんが、Upscayl は問題なくタスクを処理しました。この場合、10 年前のラップトップで十分だと思われます。

実際の作業、何か良いことはありますか?

さて、重要な部分です。 Upscaylは実際に良い結果をもたらすことができるでしょうか?それをテストするために、私は古い写真のコレクションを調べて、いくつかの候補を探しました。実験に適していると思われる写真を 3 枚見つけました。

• 1983 年のスキー山小屋の写真（高性能の 35 mm アナログ フィルム カメラで撮影）、その後、印刷された写真を安価な家庭用スキャナ（300 DPI）を使用してスキャンしてデジタル化しました。
• 2004 年に撮影された、混合光環境での人間の写真。多少のぼかしが加えられています。
• 2005 年に眠っている猫の写真。720x540 ピクセルという低解像度で、電話チャットやメールなどで送信され、使用されたプログラムなどによって途中で 2 ～ 3 回圧縮されたと思われます。

Upscayl は非常に素晴らしく、フレンドリーな UI を備えています。とても使いやすいです。左側には、画像 (バッチ処理用の複数のファイルを含む)、強化モデル、スケール、出力フォルダーの選択をロードできるサイドバーがあります。とても簡単です。右側には元の写真が表示され、処理が完了すると、垂直スライダーも表示され、「前」と「後」の結果を確認できます。

写真を Upscayl にロードし、プログラムを実行しました ...

私の古い 2014 年マシンでは、2500x2500 ピクセルの写真を 4 倍にアップスケールするのに約 7 分かかります。これは非常に妥当な時間です。ただし、モデルが写真から見つけた情報に応じて、時間は大幅に異なる場合があります。粒状性と光レベルも最終結果に影響します。さらに高い画像倍率を使用する場合、またはすでにかなり大きい元の画像を使用する場合、所要時間は簡単に 20 ～ 30 分になる可能性があります。ただし、全体として、パフォーマンスは非常に優れています。

眠り猫の画像では素晴らしい結果が得られました。高速レンダリング (10 秒)、確実な改善。間違いなく詳細を確認できます。つまり、16 倍のピクセルを持ちながら、より鮮明でシャープなファイルができました。完璧ではありませんが、間違いなく素晴らしいです。これは、照明、明瞭さ、コントラストが良好な低解像度画像でした。

次に人間の写真で試してみました。結果は…中立でした。新しい画像の品質に実際の改善は見られませんでした。それは大きかったが、「エラー」も大きかった。ここには、2 種類の照明を使用した大きな写真があります。(元の) 写真の左半分は右側に比べてぼやけて (そして暗く)、さらにかなりの量の粒状感があります。 Upscayl はここではあまりできませんでした。

スキーシャレーの結果は、実際には元の状態を逆転させるものでした。高級製品は最初のものよりも悪かった。写真には十分な照明が当てられていますが、粒子の粗さが多く、細かいディテール (木や草) が大量にあります。私の推測では、画像のすでに非常に混雑している部分に何らかの外挿を行うと、単純にノイズが増えるだけだと思います。最高級の ULTRASHARP を含む複数のモデルを試しましたが、それでも改善は見られませんでした。

私の写真 No.3 では、これらはどれも機能しませんでした。

こちらは草の一部を拡大したものです。オリジナル（左側）を見るとわかるように、かなりの粒状感があります。これは、古いアナログ フィルムの使用、フィルムの現像、数十年間棚に眠っていた写真、その後約 15 年前の安価な既製のデジタル スキャナ (ただし 300 DPI) を使用したスキャン、そして現在の AI でアップスケールされた結果を組み合わせたものです。 「改良された」草はよりぼやけています。空や木々も同様です。この場合、元の画像に見られる特定の「ドット」パターンに基づいて新しいモデルを開発してトレーニングできない限り、画像はおそらく可能な限り鮮明になります。ただし、画像のサイズが適切 (2500x2000 ピクセル程度) であるため、これは他の何よりもノイズを軽減します。

ヒント:画像を拡大する必要はありません

ここで重要な観察があります。写真を大きくする必要はありません。 x1 倍率を使用すると、元のサイズを維持できます。アルゴリズムは、不足している情報を可能な限り補間しようとします。これは、改善が得られるかどうかを確認するための、最初の段階のアプローチとしては適しています。時間も節約できます。

全体的な結果、結論前、Nvidia PRIME に関する余談

人物と風景の両方を含むおよそ 50 枚以上の画像をこのプログラムで処理した結果、いくつかの発見に至りました。これらの中には、驚くべきものもあれば、プログラムの FAQ で明確に説明されているものもあります。

• 奇跡を期待しないでください。多少の改善は得られるかもしれませんが、あなたの想像力を実現することはできません。
• アップスケールは、粒状性が低く、照明が適切で、詳細度が中程度の画像に最適です。
• すでに大きな、高解像度、高 DPI の写真があり、その写真が単純に悪い、つまり、ぼやけていてノイズが多い場合、Upscayl はその仕事に適したツールではありません。これにより状況は多少改善されますが、ノイズ係数がモデル アルゴリズムの平滑化や近似よりも「大きい」場合、意味のある結果は得られません。
• REAL-ESRGAN は、ULTRASHARP よりも滑らかな画像を作成するため、上記の制限内で、粒状の画像やぼやけた画像に適しています。ただし、ところどころで鮮明さが失われます。常にトレードオフが発生します。

その上、Linux のセットアップには非常に満足しています。

• Kubuntu 24.04 には初期の問題がありましたが、現在は解決され、正常に動作しています。
• インストールは簡単（スナップ経由）で、使用方法も簡単で、まさにオフラインで使用できました。
• プログラムの要件はそれほど高くありません。私の 10 年前のラップトップは問題なく動作しました。
• ハイブリッド グラフィックス設定は問題なく動作していました。 Nvidia カードは PRIME オンデマンド用に構成されているため、必要に応じてより強力なカードを使用し、それ以外の時間ではバッテリーを節約するために統合カードを使用します。 Upscayl を実行中に動作を確認したところ、確かに nvidia-smi は Nvidia GPU で実行されているプログラムを表示していました。過度の加熱も禁止です。

Nvidia 535 ドライバー、オンデマンド セットアップ、常温、非常に優れています。

結論

最近のプログラムのほとんどはまあまあです。本当に。 Upscayl は、この現代の平凡さの例外です。大きな例外です。これは美しくエレガントなプログラムです。優れた GUI、簡単な使用法、シンプルでクリーンなインストール、真のオフライン作業モード、複数のモデル、優れたパフォーマンス、GPU に対する適度な要件、そして完璧ではないにしてもまったく問題ない結果。私の本によれば、これは確かにかなりの金額です。予想をはるかに超えていました。

小さくて細部までシンプルな写真や画像で、照明が均一で、ぼやけやノイズが少ない場合に、最良の結果が得られます。ファイルがこれらの条件を満たしていれば、Upscayl から非常に満足のいく結果が期待できます。そうでない場合、結果は良いものから残念なものまでさまざまです。そこだけは注意してください。さて、そうは言っても、これは本当に素晴らしい小さなツールであり、テストする価値は十分にあります。次に、ImageMagick と GIMP を使用して、上記のすべてを手動で試してみます。 Linux のコマンドライン ツールを使用して、写真の改善とアップスケーリングを手動でどの程度行えるかを確認したいと考えています。それが次回のチュートリアルのトピックになります。乞うご期待。

乾杯。