どれの

Scientific Reports volume 13、記事番号: 12894 (2023) この記事を引用

メトリクスの詳細

不均一な照明条件は、夜間に撮影された画像に低光量の暗い領域と高光度の露出過度の領域の両方が存在するなど、実際の写真撮影中によく発生します。 低照度領域を強調する従来のアルゴリズムでは、露出過度の領域の明るさも増加し、画像全体の視覚効果に影響を与えます。 したがって、低光量領域と高光度領域の差別化された強調を実現することが重要です。 この論文では、スパース アテンション トランスフォーマーと畳み込みニューラル ネットワーク (CNN) を備えた補正不均一照明ネットワーク (CUI-Net) と呼ばれるネットワークを提案し、高光度の特徴を制限することで低光度の特徴をより適切に抽出します。 具体的には、CUI-Net は、低照度強化モジュールと補助モジュールの 2 つの主要モジュールで構成されています。 拡張モジュールは、CNN と Transformer ネットワークの利点を組み合わせたハイブリッド ネットワークであり、不均一な照明の問題を軽減し、局所的な詳細をより良く強調できます。 補助モジュールは、トレーニング フェーズ中に複数の拡張モジュールの拡張結果を収束するために使用されるため、テスト フェーズ中に必要な拡張モジュールは 1 つだけで、推論を高速化できます。 さらに、この論文ではゼロショット学習を使用して、ペアまたはペアになっていないトレーニング データを必要とせずに、複雑で不均一な照明環境に適応します。 最後に、アルゴリズムの有効性を検証するために、さまざまな種類の複数のデータセットでアルゴリズムをテストしたところ、アルゴリズムは安定したパフォーマンスを示し、優れた堅牢性を示しました。 さらに、このアルゴリズムを物体検出、顔検出、セマンティック セグメンテーションなどの実用的な視覚タスクに適用し、他の最先端の低照度画像強調アルゴリズムと比較することで、その実用性と利点を実証しました。

低照度画像の強化は長年研究されており、夜間のビデオ監視や自動運転車などの分野で重要な応用がなされています。 したがって、低光量画像強調アルゴリズムを使用して低光量画像を通常光画像に復元すると、物体検出、物体追跡、セマンティック セグメンテーションなどの後続の高レベル視覚タスクのための強固な基盤が提供されます。 同時に、軍事安全保障や深海探査などの分野でも、低照度画像強調技術は不可欠です1。

低照度画像強調のための従来の方法 2、3、4、5、6、7 は、通常、ヒストグラム イコライゼーションと Retinex ベースのアプローチに基づいています。 これらの方法は、低照度画像の明るさを高めるのにある程度の効果がありますが、グレースケール レベルの低下、シーンの複雑さ、および不安定な事前知識に起因する過度のノイズや色の歪みだけでなく、過度の強調やディテールの損失が発生することがよくあります。抽出1.

コンピュータのハードウェア技術の向上により、データ処理の速度は大幅に向上しました。 多くの深層学習ベースの手法 8、9、10、11、12、13 は、低照度画像強調の分野で優れたパフォーマンスを示しています。 現在、ほとんどの低照度画像強調手法は畳み込みニューラル ネットワーク (CNN) に基づいており、慎重に設計された CNN 構造を通じて大量のデータから低照度画像から通常光画像へのマッピング関係を学習します。 ただし、CNN の畳み込み演算中の限られた受容野では、入力画像内の長距離ピクセルの関係を完全に考慮することができず、画像強調効果に影響を与えます14。 トランスフォーマー 17、18、19、20、21 の自己注意メカニズム 15、16 は、この問題を解決できます。 セルフ アテンション メカニズムは、長距離の依存関係をモデル化するため、画像の詳細をより適切に保存し、ノイズの影響を軽減し、それによって画像の品質を向上させることができます22。 トランスフォーマーベースの手法は、画像の超解像度 23,24、画像のノイズ除去 25、画像のかすみ除去 26 などの低レベルの視覚タスクにおいて重要な進歩を遂げました。 現在、関連する Transformer 手法 27、28 は、低照度画像の強調にも適用されており、非局所情報をより適切にモデル化して高品質の画像再構成を実現できるため、良好なパフォーマンスを達成しています。 ただし、これらの方法では、CNN が得意とする画像の局所的な特徴は十分に強調されません。 したがって、最近の研究者 29、30、31 は、CNN と Transformer ネットワークを組み合わせて、それぞれの利点を組み合わせ、対応するタスクのパフォーマンスを向上させることを試みています。 低光量強調タスクの場合、ネットワーク アーキテクチャ設計は、高光度の特徴よりも低光度の特徴が多い低光度画像の特性に適応する必要があります。 同時に、実際のシーンでの低照度強化タスクの場合、ペアのデータセットが不足している実際のシーンでの高レベルの視覚タスクをより適切に解決するには、ゼロショット学習 32 メソッドが必要です。 具体的には、ゼロショット学習とは、トレーニング中にペアまたはペアになっていないデータが必要ないことを意味します。