キヤノン「EOS R1 / R5 Mark II」が発表されている。「EOS R1 / R5 Mark II」には、「カメラ内アップスケーリング」機能がある。
このページでは、以下のように説明されている。
【カメラ内アップスケーリング】
『撮影後、縦横の画素数をそれぞれ2倍、全画素数を4倍に変換し、約1億7900万画素まで画像の拡大が可能。作品展などの大判出力にも対応できます。IBISハイレゾ撮影とは異なり1枚の画像で、高解像度な画像を生成。カメラ内で処理するためPCを介さずそのまま投稿/送信できます。トリミングと同時にカメラ内アップスケーリングを行うことも可能で、高解像度の画像を生成してからトリミングを行うよりも処理時間が高速です。生成時は、撮影画像の解像感を保ちながら、元画像から逸脱した画像を描写しないようにアルゴリズムをチューニングしています。』
R5 Mark II では、8192×5464ピクセルの画像が16384×10928ピクセルになる。
「Digital Camera World」のページには、以下のような記述がある。
『Unlike post-production software such as Topaz, which has to use guesswork and AI to interpolate and completely invent the pixels and data when it upscales your images, Canon's technology doesn't have to guess anything: it knows everything about your image using the information recorded to the camera at the moment of capture.
It knows what lens you used, the aberrations created by its optical formula, the ISO sensitivity and the noise it introduces, the aperture and its effect on defocus, the white balance, the bit depth… in short, this isn't in the same ballpark as third-party upscaling software that just guesstimates these values. Canon's tech simply embellishes all the information it already has about your photo.』
日本語に翻訳すると、
『Topazなどのポストプロダクションソフトウェアでは、画像を拡大するときに推測とAIを使用してピクセルとデータを補間し、完全に作り出す必要がありますが、キヤノンのテクノロジーでは何も推測する必要がありません。撮影時にカメラに記録された情報を使用して、画像に関するすべてを把握します。
このソフトウェアは、使用したレンズ、その光学式によって生じる収差、ISO感度とそれがもたらすノイズ、絞りとそれが焦点ぼけに与える影響、ホワイトバランス、ビット深度を把握しています。つまり、これらの値を推測するだけのサードパーティのアップスケーリングソフトウェアとはレベルが違います。キヤノンの技術は、写真に関してすでに持っているすべての情報を単純に装飾するだけです。』
ただ、「EOS R1 / R5 Mark II カメラ内アップスケーリング」は、RAWではなくJPEGをインプットとして処理されることを考えると、『キヤノンのテクノロジーでは何も推測する必要がありません。』という説明には疑問が残る。
また、撮影時にリアルタイムで処理される訳ではなく、カメラ内で後処理として行うことになる。膨大な撮影枚数から該当の画像を選んで処理するのは面倒な気がする。できれば、PC等で処理したい。
以下で、Windows高解像度化ツール「Aiarty Image Enhancer(AI. Image Enhancer)」「Upscayl」によるアップスケーリングとの画質比較を行ってみるが、アップスケーリング処理にはGPUのないPCでは相当な処理時間を要する。この処理がカメラ内で数秒程度で処理できるなら、それはそれで凄いことなのかもしれない。
個人的な希望では、この画素補間技術を使ってリアルタイムの2倍デジタルテレコン機能を実現させてほしい。
アップスケーリングの画像比較には、「DPReview」の以下のページに載っている写真を使わせてもらう。
このオリジナルトリミング画像(600×600)を元に解像度を縦横2倍(面積4倍)にする。
判断がなかなか難しいが、「EOS R1 / R5 Mark II カメラ内アップスケーリング」の画像は、オリジナル画像の質感を残したまま、無理のない範囲で解像度を上げているような気がする。
これらの画像だけでは判断が難しいので、それぞれの画像を拡大して切り取ってみた。拡大してみると、どれも結構違和感がある。やはり、「R5 Mark II カメラ内アップスケーリング」が一番自然な感じか。
別の画像でも試してみる。以下の「fotopolis」の画像を使わせてもらう。
このオリジナルトリミング画像(600×600)を元に解像度を縦横2倍(面積4倍)にする。
「AI. Image Enhancer:細部加工 GAN」が一番くっきりしている感じがするが、画像全体でみた自然さは分からない。実際に画像全体をA3プリンターぐらいで印刷してみないと、どれが良いのか判断が難しいかも。