من المحتمل أنك التقطت صورة في ظروف مظلمة للغاية، مما أدى إلى ظهور صورة مليئة بالضوضاء الرقمية المحببة.

يحدث هذا عندما لا يلتقط مستشعر الصورة ما يكفي من الضوء.

ولمحاولة التعويض عن ذلك، قامت شركات مثل Apple بتطبيق خوارزميات معالجة الصور التي تم انتقادها لإنشاء تأثيرات شديدة السلاسة تشبه الرسم الزيتي، حيث تختفي التفاصيل الدقيقة أو يُعاد بناؤها إلى شيء يصعب التعرف عليه أو قراءته.

ولمعالجة هذه المشكلة، الباحثين قامت شركة Apple وجامعة بوردو بتطوير نموذج يسمى DarkDiff. وإليك كيفية تقديمها في دراسة تسمى DarkDiff: تحسين تحسينات الصور الأولية في الإضاءة المنخفضة من خلال إعادة تعيين مهام نماذج الانتشار لمزود خدمة الإنترنت للكاميرا:

يعد التصوير الفوتوغرافي عالي الجودة في ظروف الإضاءة المنخفضة للغاية أمرًا صعبًا ولكنه مؤثر بالنسبة للكاميرات الرقمية. بفضل أجهزة الحوسبة المتقدمة، يتم استبدال خوارزميات معالج إشارة صور الكاميرا التقليدية (ISP) تدريجيًا بشبكات عميقة فعالة تعمل على تحسين الصور الخام المزعجة بشكل أكثر ذكاءً. ومع ذلك، غالبًا ما تقلل النماذج القائمة على الانحدار من أخطاء البكسل وتؤدي إلى الإفراط في سلاسة الصور ذات الإضاءة المنخفضة أو الظلال العميقة. وقد حاول العمل الحديث معالجة هذا القيد من خلال تدريب نموذج الانتشار من الصفر، ومع ذلك لا تزال هذه النماذج تكافح لاستعادة تفاصيل الصورة الواضحة والألوان الدقيقة. نقدم إطارًا جديدًا لتحسين الصور الأولية منخفضة الإضاءة من خلال إعادة تعيين نماذج الانتشار التوليدي المدربة مسبقًا باستخدام مزود خدمة الإنترنت للكاميرا. تُظهر التجارب الموسعة أن طريقتنا تتفوق على أحدث التقنيات من حيث الجودة الإدراكية عبر ثلاثة معايير صعبة للصور الخام منخفضة الإضاءة.

بمعنى آخر، بدلًا من تطبيق الذكاء الاصطناعي في مرحلة ما بعد المعالجة، أعادوا مهمة Stable Diffusion (نموذج مفتوح المصدر تم تدريبه على ملايين الصور) لفهم التفاصيل التي يجب موجودة في المناطق المظلمة من الصور مع الأخذ في الاعتبار سياقها العام، ودمجها في مسار معالجة إشارات الصورة.

في الواقع، يقدم نهجهم آلية تحسب الانتباه على تصحيحات الصور المحلية، مما يساعد في الحفاظ على الهياكل المحلية وتخفيف الهلوسة كما في الصورة أدناه، حيث يقوم الذكاء الاصطناعي لإعادة الإعمار بتغيير محتوى الصورة بالكامل.

من خلال هذا النهج، لا يزال مزود خدمة الإنترنت في الكاميرا يتعامل مع المعالجة المبكرة اللازمة لفهم بيانات المستشعر الأولية، بما في ذلك خطوات مثل توازن اللون الأبيض والإزالة. يعمل DarkDiff بعد ذلك على صورة RGB الخطية هذه، مما يقلل من الضوضاء وينتج مباشرة صورة sRGB النهائية.

يستخدم DarkDiff أيضًا تقنية نشر قياسية تسمى التوجيه الخالي من المصنف، والتي تتحكم بشكل أساسي في مدى قوة النموذج الذي يجب أن يتبع الصورة المدخلة، مقابل سابقاته المرئية المكتسبة.

مع التوجيه الأقل، ينتج النموذج أنماطًا أكثر سلاسة، في حين أن زيادة التوجيه تشجعه على إنشاء مواد أكثر وضوحًا وتفاصيل أكثر دقة (وهذا بدوره يزيد أيضًا من خطر إنتاج أعمال فنية غير مرغوب فيها أو محتوى مهلوس).

لاختبار DarkDiff، استخدم الباحثون صورًا حقيقية تم التقاطها في إضاءة منخفضة للغاية باستخدام كاميرات مثل Sony A7SII، ومقارنة النتائج مع نماذج التحسين الأولية الأخرى وخطوط الأساس القائمة على الانتشار، بما في ذلك ExposureDiffusion.

تم التقاط الصور الاختبارية ليلاً بأوقات تعريض ضوئي قصيرة تصل إلى 0.033 ثانية، وتمت مقارنة إصدارات DarkDiff المحسنة مع الصور المرجعية الملتقطة بتعريض أطول بمقدار 300 مرة على حامل ثلاثي الأرجل.

فيما يلي بعض النتائج (التي نشجعك على رؤيتها بجودة كاملة في الدراسة الأصلية):

لاحظ الباحثون أن معالجتهم القائمة على الذكاء الاصطناعي أبطأ بكثير من الطرق التقليدية، ومن المرجح أن تتطلب معالجة سحابية لتعويض المتطلبات الحسابية العالية التي من شأنها أن تستنزف البطارية بسرعة إذا تم تشغيلها محليًا على الهاتف. بالإضافة إلى ذلك، لاحظوا أيضًا وجود قيود في التعرف على النص غير الإنجليزي في المشاهد منخفضة الإضاءة.

من المهم أيضًا ملاحظة أنه لم يُشر في أي مكان في الدراسة إلى أن DarkDiff سيشق طريقه إلى أجهزة iPhone في أي وقت قريب. ومع ذلك، يوضح العمل تركيز Apple المستمر على التطورات في التصوير الفوتوغرافي الحاسوبي.

في السنوات الأخيرة، أصبح هذا مجال اهتمام متزايد الأهمية في سوق الهواتف الذكية بأكمله، حيث يطلب العملاء إمكانات الكاميرا التي تتجاوز ما يمكن للشركات وضعه فعليًا داخل أجهزتهم.

لقراءة الدراسة الكاملة والاطلاع على المقارنات الإضافية بين DarkDiff وطرق تقليل الضوضاء الأخرى، اتبع هذا الرابط.