Lickety Split Review
Խնդիր. SR մոդելները դեռևս տառապում են իրական աշխարհի անհայտ բարդ դեգրադացիայից
Լուծում.
• Վերցրեք ESRGAN-ի ճարտարապետությունը և փոխեք VGG-ի նմանվող դիսկրիմինատորը U-Net-ի Սպեկտրալ նորմալացման միջոցով
• Ստեղծեք դեգրադացիայի 2 հանգույց
• Ավելացրեք sinc զտիչ քայքայման գործընթացին
Vanilla SR-ի ուսուցման գործընթացը բաղկացած է բարձրորակ (HQ) պատկեր ստանալուց և ցածր որակի (LQ) պատկեր ստանալուց՝ որպես HQ պատկերի դեգրադացիա՝ պղտորման, կրճատման, աղմուկի և JPEG սեղմման միջոցով, այնուհետև մենք կատարում ենք NN upsampling մոգություն և օգտագործում L1 կորուստ[, ընկալման կորուստ և GAN կորուստ] որպես օպտիմալացման նպատակ: Այս մեթոդը LQ-ի համար բավարար չէ, քանի որ իրական աշխարհի սցենարներում մենք ունենք պատկերի անհայտ դեգրադացիա, քանի որ մենք այն կիսում ենք ինտերնետում n անգամ, պահպանում ենք այն սեղմելով և այլն: Այս խնդիրը լուծելու համար հեղինակներն առաջարկում են բարձր կարգի դեգրադացիայի մոդել, որը բաղկացած է մի քանի բծախնդրություն-downsample-noise-jpeg հանգույցներից՝ տարբեր պատահական պարամետրերով: Թղթի դեպքում օղակների թիվը 2 է: Որպես հավելում մեղմելու զանգը և արտեֆակտները գերազանցելու համար, նրանք ստեղծեցին sinc զտիչը, որը նմանակում է այն:
Ինչ վերաբերում է հենց մոդելին, հեղինակները օգտագործում են ESRGAN մոդելը, բայց փոխում են խտրականությունը: Քանի որ դեգրադացիան դարձավ ավելի բարդ, մոդելը նույնպես պետք է լինի, ուստի նրանք փոխեցին VGG-ի նման ճարտարապետությունը U-Net-ի և ավելացրին սպեկտրային նորմալացում՝ մարզումը կայունացնելու համար:
IMHO. sinc ֆիլտրի գաղափարն իսկապես հիանալի է. մանրամասները, հստակությունը և արտադրանքի ընդհանուր որակը լավ են. չտեսնված կառույցների ընդհանրացումը վատ է:
Ողջույն բոլորին: «Lickety Split Review»-ը նախատեսված է մի քանի րոպեում ձեզ պատկերացում կազմելու, թե ինչի մասին է թերթը. մենք ընդգծում ենք հեղինակների առջև ծառացած խնդիրները, ցույց ենք տալիս, թե ինչպես են դրանք լուծում, խոսում ենք նորության մասին և տալիս ձեզ մեր խոնարհ կարծիքը դրա վերաբերյալ: .
