Շնորհակալություն Nature.com այցելելու համար:Դուք օգտագործում եք զննարկչի տարբերակ՝ CSS-ի սահմանափակ աջակցությամբ:Լավագույն փորձի համար խորհուրդ ենք տալիս օգտագործել թարմացված դիտարկիչ (կամ անջատել Համատեղելիության ռեժիմը Internet Explorer-ում):Բացի այդ, շարունակական աջակցություն ապահովելու համար մենք կայքը ցուցադրում ենք առանց ոճերի և JavaScript-ի:
Սլայդերներ, որոնք ցույց են տալիս երեք հոդված յուրաքանչյուր սլայդում:Օգտագործեք հետևի և հաջորդ կոճակները՝ սլայդների միջով շարժվելու համար, կամ սլայդ կարգավորիչի կոճակները վերջում՝ յուրաքանչյուր սլայդով շարժվելու համար:
Օպտիկական կոերենսային տոմոգրաֆիկ անգիոգրաֆիան (OCTA) ցանցաթաղանթի անոթների ոչ ինվազիվ վիզուալիզացիայի նոր մեթոդ է:Չնայած OCTA-ն ունի բազմաթիվ խոստումնալից կլինիկական կիրառություններ, պատկերի որակի որոշումը մնում է մարտահրավեր:Մենք մշակեցինք խորը ուսուցման վրա հիմնված համակարգ՝ օգտագործելով ResNet152 նեյրոնային ցանցի դասակարգիչը, որը նախապես պատրաստված էր ImageNet-ով, որպեսզի դասակարգի մակերեսային մազանոթային պլեքսուսի պատկերները 134 հիվանդների 347 սկանավորումներից:Պատկերները նաև ձեռքով գնահատվել են որպես իրական ճշմարտություն երկու անկախ գնահատողների կողմից վերահսկվող ուսուցման մոդելի համար:Քանի որ պատկերի որակի պահանջները կարող են տարբեր լինել՝ կախված կլինիկական կամ հետազոտական ​​պարամետրերից, վերապատրաստվել են երկու մոդելներ՝ մեկը բարձրորակ պատկերների ճանաչման, իսկ մյուսը՝ ցածր որակի պատկերների ճանաչման համար:Մեր նեյրոնային ցանցի մոդելը ցույց է տալիս հիանալի տարածք կորի տակ (AUC), 95% CI 0.96-0.99, \(\kappa\) = 0.81), ինչը զգալիորեն ավելի լավ է, քան մեքենայի կողմից հաղորդված ազդանշանի մակարդակը (AUC = 0.82, 95): % CI):0,77–0,86, \(\kappa\) = 0,52 և AUC = 0,78, 95% CI 0,73–0,83, \(\kappa\) = 0,27 համապատասխանաբար):Մեր ուսումնասիրությունը ցույց է տալիս, որ մեքենայական ուսուցման մեթոդները կարող են օգտագործվել OCTA պատկերների որակի վերահսկման ճկուն և ամուր մեթոդներ մշակելու համար:
Օպտիկական համակցված տոմոգրաֆիկ անգիոգրաֆիան (OCTA) համեմատաբար նոր տեխնիկա է, որը հիմնված է օպտիկական համակցված տոմոգրաֆիայի (OCT) վրա, որը կարող է օգտագործվել ցանցաթաղանթի միկրոանոթային համակարգի ոչ ինվազիվ վիզուալիզացիայի համար:OCTA-ն չափում է արտացոլման օրինաչափությունների տարբերությունը ցանցաթաղանթի միևնույն հատվածում կրկնվող լույսի իմպուլսներից, և այնուհետև կարելի է հաշվարկել վերակառուցումները՝ բացահայտելու արյունատար անոթները՝ առանց ներկերի կամ այլ հակադրություն նյութերի ինվազիվ օգտագործման:OCTA-ն նաև հնարավորություն է տալիս խորը լուծաչափով անոթային պատկերում, որը թույլ է տալիս բժիշկներին առանձին ուսումնասիրել մակերեսային և խորը անոթների շերտերը, ինչը օգնում է տարբերակել խորիորետինալ հիվանդությունը:
Թեև այս տեխնիկան խոստումնալից է, պատկերի որակի տատանումները մնում են հիմնական մարտահրավեր պատկերների հուսալի վերլուծության համար՝ դժվարացնելով պատկերի մեկնաբանումը և կանխելով համատարած կլինիկական ընդունումը:Քանի որ OCTA-ն օգտագործում է մի քանի հաջորդական OCT սկանավորում, այն ավելի զգայուն է պատկերի արտեֆակտների նկատմամբ, քան ստանդարտ OCT-ը:Առևտրային OCTA հարթակներն ապահովում են իրենց պատկերի որակի չափանիշը, որը կոչվում է ազդանշանի ուժ (SS) կամ երբեմն ազդանշանի ուժի ինդեքս (SSI):Այնուամենայնիվ, SS կամ SSI բարձր արժեք ունեցող պատկերները չեն երաշխավորում պատկերի արտեֆակտների բացակայությունը, ինչը կարող է ազդել ցանկացած հետագա պատկերի վերլուծության վրա և հանգեցնել կլինիկական սխալ որոշումների:Ընդհանուր պատկերային արտեֆակտները, որոնք կարող են առաջանալ OCTA պատկերում, ներառում են շարժման արտեֆակտներ, հատվածավորման արտեֆակտներ, լրատվամիջոցների անթափանցիկության արտեֆակտներ և պրոյեկցիոն արտեֆակտներ1,2,3:
Քանի որ OCTA-ից ստացված միջոցները, ինչպիսիք են անոթային խտությունը, ավելի ու ավելի են օգտագործվում թարգմանչական հետազոտություններում, կլինիկական փորձարկումներում և կլինիկական պրակտիկայում, հրատապ անհրաժեշտություն կա մշակել պատկերի որակի վերահսկման կայուն և հուսալի գործընթացներ՝ պատկերի արտեֆակտները վերացնելու համար4:Բաց թողնված կապերը, որոնք նաև հայտնի են որպես մնացորդային կապեր, նեյրոնային ցանցի ճարտարապետության պրոյեկցիաներ են, որոնք թույլ են տալիս տեղեկատվությանը շրջանցել կոնվոլյուցիոն շերտերը, մինչդեռ տարբեր մասշտաբներով կամ լուծաչափերով տեղեկատվությունը պահվում է5:Քանի որ պատկերի արտեֆակտները կարող են ազդել փոքր և ընդհանուր լայնածավալ պատկերների կատարման վրա, բաց թողնված միացման նեյրոնային ցանցերը հարմար են որակի վերահսկման այս առաջադրանքն ավտոմատացնելու համար5:Վերջերս հրապարակված աշխատանքը որոշակի խոստումներ է տվել խորը կոնվոլյուցիոն նեյրոնային ցանցերի համար, որոնք վերապատրաստվել են մարդկային գնահատողների բարձրորակ տվյալների կիրառմամբ6:
Այս ուսումնասիրության մեջ մենք վարժեցնում ենք կապի շրջանցող կոնվոլյուցիոն նեյրոնային ցանց՝ ավտոմատ կերպով որոշելու OCTA պատկերների որակը:Մենք հիմնվում ենք նախորդ աշխատանքի վրա՝ մշակելով առանձին մոդելներ բարձրորակ պատկերների և ցածր որակի պատկերների նույնականացման համար, քանի որ պատկերի որակի պահանջները կարող են տարբեր լինել հատուկ կլինիկական կամ հետազոտական ​​սցենարների համար:Մենք համեմատում ենք այս ցանցերի արդյունքները կոնվոլյուցիոն նեյրոնային ցանցերի հետ՝ առանց բացակայող կապերի՝ գնահատելու համար խորը ուսուցման ընթացքում հստակության բազմակի մակարդակներում առանձնահատկությունների ընդգրկման արժեքը:Այնուհետև մենք մեր արդյունքները համեմատեցինք ազդանշանի ուժի հետ, որը արտադրողների կողմից տրամադրված պատկերի որակի ընդհանուր ընդունված չափանիշ է:
Մեր ուսումնասիրությունը ներառում էր շաքարային դիաբետով հիվանդներ, ովքեր հաճախել էին Յեյլի ակնաբուժական կենտրոն 2017 թվականի օգոստոսի 11-ից մինչև 2019 թվականի ապրիլի 11-ն ընկած ժամանակահատվածում: Ոչ դիաբետիկ խորիորետինալ հիվանդությամբ հիվանդները դուրս էին մնացել:Չկային ընդգրկման կամ բացառման չափանիշներ՝ հիմնված տարիքի, սեռի, ռասայի, պատկերի որակի կամ որևէ այլ գործոնի վրա:
OCTA պատկերները ձեռք են բերվել AngioPlex պլատֆորմի միջոցով Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Դուբլին, Կալիֆոռնիա) 8 \(\ անգամ\) 8 մմ և 6 \ (\ անգամ\) 6 մմ պատկերային արձանագրությունների տակ:Հետազոտությանը մասնակցելու համար տեղեկացված համաձայնությունը ստացվել է հետազոտության յուրաքանչյուր մասնակցից, և Յեյլի համալսարանի Ինստիտուցիոնալ վերանայման խորհուրդը (IRB) հաստատել է այս բոլոր հիվանդների համար գլոբալ լուսանկարչության հետ տեղեկացված համաձայնության օգտագործումը:Հետևելով Հելսինկյան հռչակագրի սկզբունքներին.Ուսումնասիրությունը հաստատվել է Յեյլի համալսարանի IRB-ի կողմից:
Մակերեւութային թիթեղների պատկերները գնահատվել են նախկինում նկարագրված Motion Artifact Score-ի (MAS), նախկինում նկարագրված Segmentation Artifact Score-ի (SAS), foveal կենտրոնի, մեդիայի անթափանցիկության առկայության և փոքր մազանոթների լավ վիզուալիզացիայի հիման վրա, ինչպես որոշվել է պատկերի գնահատողի կողմից:Պատկերները վերլուծվել են երկու անկախ գնահատողների կողմից (RD և JW):Պատկերն ունի 2 գնահատական ​​(իրավասու), եթե բավարարված են հետևյալ բոլոր չափանիշները. պատկերը կենտրոնացած է բացվածքի վրա (պատկերի կենտրոնից 100 պիքսելից պակաս), MAS-ը 1 կամ 2 է, SAS-ը՝ 1, և մեդիայի անթափանցիկությունը 1-ից պակաս է: Ներկայացված է / 16 չափսի պատկերների վրա, իսկ փոքր մազանոթները երևում են 15/16-ից մեծ նկարներում:Պատկերը գնահատվում է 0 (առանց գնահատականի), եթե բավարարված է հետևյալ չափանիշներից որևէ մեկը՝ պատկերը կենտրոնից դուրս է, եթե MAS-ը 4 է, եթե SAS-ը 2 է, կամ միջին անթափանցիկությունը մեծ է պատկերի 1/4-ից և փոքր մազանոթները չեն կարող կարգավորվել ավելի քան 1 պատկեր /4 տարբերակելու համար:Բոլոր մյուս նկարները, որոնք չեն համապատասխանում 0 կամ 2 գնահատականի չափանիշներին, գնահատվում են որպես 1 (կտրում):
Նկ.1-ը ցույց է տալիս նկարների նմուշներ յուրաքանչյուր մասշտաբային գնահատականների և պատկերի արտեֆակտների համար:Առանձին միավորների միջգնահատականի հուսալիությունը գնահատվել է Քոհենի կապպա կշռման միջոցով8:Յուրաքանչյուր գնահատողի անհատական ​​միավորները ամփոփվում են՝ յուրաքանչյուր նկարի համար ընդհանուր միավոր ստանալու համար՝ տատանվում է 0-ից 4-ի սահմաններում: Ընդհանուր 4 միավոր ունեցող նկարները համարվում են լավ:0 կամ 1 ընդհանուր գնահատական ​​ունեցող պատկերները համարվում են ցածրորակ:
ResNet152 ճարտարապետական ​​կոնվոլյուցիոն նեյրոնային ցանց (Նկար 3A.i), որը նախապես վերապատրաստվել է ImageNet տվյալների բազայի պատկերների վրա, ստեղծվել է fast.ai-ի և PyTorch շրջանակի միջոցով5, 9, 10, 11: Համակցված նեյրոնային ցանցը ցանց է, որն օգտագործում է սովորածը: ֆիլտրեր՝ պատկերի բեկորները սկանավորելու համար՝ տարածական և տեղային առանձնահատկությունները ուսումնասիրելու համար:Մեր վերապատրաստված ResNet-ը 152-շերտ նեյրոնային ցանց է, որը բնութագրվում է բացերով կամ «մնացորդային կապերով», որոնք միաժամանակ տեղեկատվություն են փոխանցում բազմաթիվ լուծումներով:Ցանցում տարբեր լուծաչափերով տեղեկատվություն նախագծելով՝ հարթակը կարող է իմանալ ցածրորակ պատկերների առանձնահատկությունները դետալների մի քանի մակարդակներում:Ի լրումն մեր ResNet մոդելի, մենք նաև վերապատրաստեցինք AlexNet-ը, որը լավ ուսումնասիրված նեյրոնային ցանցի ճարտարապետություն է, առանց համեմատության համար բացակայող կապերի (Նկար 3A.ii)12:Առանց բացակայող կապերի, այս ցանցը չի կարողանա ավելի բարձր հստակությամբ ֆիքսել գործառույթները:
Բնօրինակ 8 \(\times\) 8 մմ OCTA13 պատկերների հավաքածուն բարելավվել է հորիզոնական և ուղղահայաց արտացոլման տեխնիկայի միջոցով:Ամբողջական տվյալների հավաքածուն այնուհետև պատահականորեն բաժանվեց պատկերի մակարդակով ուսուցման (51,2%), փորձարկման (12,8%), հիպերպարամետրային թյունինգի (16%) և վավերացման (20%) տվյալների հավաքածուների՝ օգտագործելով scikit-learn toolbox python14:Դիտարկվել է երկու դեպք՝ մեկը հիմնված է միայն ամենաբարձր որակի պատկերների հայտնաբերման վրա (ընդհանուր գնահատականը 4), իսկ մյուսը հիմնված է միայն ամենացածր որակի պատկերների հայտնաբերման վրա (ընդհանուր գնահատական ​​0 կամ 1):Բարձրորակ և ցածրորակ օգտագործման յուրաքանչյուր դեպքի համար նեյրոնային ցանցը մեկ անգամ վերապատրաստվում է մեր պատկերային տվյալների վրա:Յուրաքանչյուր օգտագործման դեպքում նեյրոնային ցանցը վերապատրաստվել է 10 դարաշրջանի համար, բոլոր, բացի ամենաբարձր շերտի կշիռները, սառեցվել են, և բոլոր ներքին պարամետրերի կշիռները սովորել են 40 դարաշրջանների համար՝ օգտագործելով ուսուցման տարբերակիչ մեթոդ՝ խաչաձև էնտրոպիայի կորստի ֆունկցիայով 15, 16..Խաչաձև էնտրոպիայի կորստի ֆունկցիան կանխատեսված ցանցի պիտակների և իրական տվյալների միջև անհամապատասխանության լոգարիթմական սանդղակի չափումն է:Մարզումների ընթացքում նեյրոնային ցանցի ներքին պարամետրերի վրա կատարվում է գրադիենտ վայրէջք՝ կորուստները նվազագույնի հասցնելու համար։Ուսուցման արագությունը, դասընթացը թողնելու արագությունը և քաշի նվազեցման հիպերպարամետրերը կարգավորվել են Բայեսյան օպտիմիզացիայի միջոցով՝ 2 պատահական մեկնարկային կետերով և 10 կրկնություններով, իսկ տվյալների բազայի AUC-ն կարգավորվել է՝ օգտագործելով հիպերպարամետրերը՝ որպես թիրախ 17:
Մակերեսային մազանոթային պլեքսուսների 8 × 8 մմ OCTA պատկերների ներկայացուցչական օրինակներ, որոնք գնահատվել են 2 (A, B), 1 (C, D) և 0 (E, F):Ցուցադրված պատկերի արտեֆակտները ներառում են թարթող գծեր (սլաքներ), հատվածավորման արտեֆակտներ (աստղանիշներ) և լրատվամիջոցների անթափանցիկություն (սլաքներ):Պատկերը (E) նույնպես կենտրոնից դուրս է:
Ստացողի գործառնական բնութագրերի (ROC) կորերը այնուհետև ստեղծվում են նեյրոնային ցանցի բոլոր մոդելների համար, և շարժիչի ազդանշանի հզորության հաշվետվությունները ստեղծվում են ցածրորակ և բարձրորակ օգտագործման յուրաքանչյուր դեպքի համար:Կորի տակ գտնվող տարածքը (AUC) հաշվարկվել է pROC R փաթեթի միջոցով, և 95% վստահության միջակայքերը և p արժեքները հաշվարկվել են DeLong մեթոդով18,19:Մարդկանց գնահատողների կուտակային միավորներն օգտագործվում են որպես ելակետ բոլոր ROC հաշվարկների համար:Մեքենայի կողմից հաղորդված ազդանշանի ուժգնության համար AUC-ն հաշվարկվել է երկու անգամ՝ մեկ անգամ՝ բարձրորակ Scalability Score կտրվածքի և մեկ անգամ ցածր որակի Scalability Score կտրվածքի համար:Նյարդային ցանցը համեմատվում է AUC ազդանշանի ուժի հետ, որն արտացոլում է իր սեփական մարզման և գնահատման պայմանները:
Վերապատրաստված խորը ուսուցման մոդելը առանձին տվյալների բազայի վրա հետագայում փորձարկելու համար բարձրորակ և ցածր որակի մոդելներն ուղղակիորեն կիրառվել են Յեյլի համալսարանից հավաքված 32 ամբողջական դեմքի 6 \(\անգամ\) 6 մմ մակերեսային սալերի պատկերների կատարողականի գնահատման համար:Աչքի զանգվածը կենտրոնացած է պատկերի հետ միաժամանակ 8 \(\անգամ \) 8 մմ:6 \(\×\) 6 մմ պատկերները ձեռքով գնահատվել են նույն գնահատողների կողմից (RD և JW) նույն ձևով, ինչ 8 \(\×\) 8 մմ պատկերները, հաշվարկվել է AUC-ն, ինչպես նաև ճշգրտությունը և Քոհենի կապան: .հավասարապես.
Դասի անհավասարակշռության հարաբերակցությունը 158:189 է (\(\rho = 1.19\)) ցածր որակի մոդելի համար և 80:267 (\(\rho = 3.3\)) բարձրորակ մոդելի համար:Քանի որ դասի անհավասարակշռության հարաբերակցությունը 1:4-ից փոքր է, հատուկ ճարտարապետական ​​փոփոխություններ չեն կատարվել դասի անհավասարակշռությունը շտկելու համար20,21:
Ուսուցման գործընթացն ավելի լավ պատկերացնելու համար դասի ակտիվացման քարտեզները ստեղծվեցին բոլոր չորս վերապատրաստված խորը ուսուցման մոդելների համար՝ բարձրորակ ResNet152 մոդել, ցածրորակ ResNet152 մոդել, բարձրորակ AlexNet մոդել և ցածրորակ AlexNet մոդել:Դասերի ակտիվացման քարտեզները ստեղծվում են այս չորս մոդելների մուտքային կոնվոլյուցիոն շերտերից, իսկ ջերմային քարտեզները ստեղծվում են 8 × 8 մմ և 6 × 6 մմ վավերացման հավաքածուների սկզբնաղբյուրի պատկերներով ծածկելու միջոցով ակտիվացման քարտեզները22, 23:
R տարբերակը 4.0.3 օգտագործվել է բոլոր վիճակագրական հաշվարկների համար, իսկ վիզուալիզացիաները ստեղծվել են ggplot2 գրաֆիկական գործիքների գրադարանի միջոցով:
Մենք հավաքել ենք 8 \(\անգամ \)8 մմ չափերով մակերեսային մազանոթային պլեքսուսի 347 դիմային պատկեր 134 մարդուց:Մեքենան հաղորդում է ազդանշանի ուժգնությունը 0-ից 10 սանդղակով բոլոր պատկերների համար (միջին = 6,99 ± 2,29):Ձեռք բերված 347 պատկերներից միջին տարիքը հետազոտության ժամանակ եղել է 58,7 ± 14,6 տարի, իսկ 39,2%-ը եղել են արական սեռի հիվանդներից:Բոլոր պատկերներից 30,8%-ը կովկասցիներից էր, 32,6%-ը՝ սևամորթներից, 30,8%-ը՝ իսպանացիներից, 4%-ը՝ ասիացիներից և 1,7%-ը՝ այլ ռասաներից (Աղյուսակ 1):).OCTA-ով հիվանդների տարիքային բաշխումը զգալիորեն տարբերվում էր՝ կախված պատկերի որակից (p <0,001):18-45 տարեկան երիտասարդ հիվանդների մոտ բարձրորակ պատկերների տոկոսը կազմել է 33,8%՝ ցածր որակի պատկերների 12,2%-ի համեմատ (Աղյուսակ 1):Դիաբետիկ ռետինոպաթիայի կարգավիճակի բաշխումը նույնպես էականորեն տարբերվում էր պատկերի որակով (p <0,017):Բոլոր բարձրորակ պատկերների մեջ PDR-ով հիվանդների տոկոսը կազմել է 18,8%՝ ցածր որակի բոլոր պատկերների 38,8%-ի համեմատ (Աղյուսակ 1):
Բոլոր պատկերների անհատական ​​գնահատականները ցույց են տվել պատկերները կարդացող մարդկանց միջև միջինից մինչև ուժեղ վստահելիություն (Քոհենի կշռված կապա = 0,79, 95% CI: 0,76-0,82), և չկան պատկերի կետեր, որտեղ գնահատողները տարբերվում էին 1-ից ավելիով (Նկար. 2Ա):.Ազդանշանի ինտենսիվությունը զգալիորեն փոխկապակցված է ձեռքով գնահատման հետ (Pearson ապրանքային պահի հարաբերակցությունը = 0.58, 95% CI 0.51–0.65, p<0.001), սակայն շատ պատկերներ ճանաչվել են որպես ազդանշանի բարձր ինտենսիվություն, բայց ձեռքով ցածր գնահատական ​​(նկ. .2B):
ResNet152 և AlexNet ճարտարապետությունների վերապատրաստման ընթացքում վավերացման և վերապատրաստման խաչաձև էնտրոպիայի կորուստը ընկնում է ավելի քան 50 դարաշրջան (Նկար 3B,C):Վերապատրաստման վերջնական դարաշրջանում վավերացման ճշգրտությունը գերազանցում է 90%-ը և՛ բարձրորակ, և՛ ցածր որակի օգտագործման դեպքերում:
Ընդունիչի կատարողականի կորերը ցույց են տալիս, որ ResNet152 մոդելը զգալիորեն գերազանցում է մեքենայի հաղորդած ազդանշանի հզորությունը ինչպես ցածր, այնպես էլ բարձր որակի օգտագործման դեպքերում (p <0,001):ResNet152 մոդելը նույնպես զգալիորեն գերազանցում է AlexNet ճարտարապետությանը (p = 0.005 և p = 0.014 ցածր որակի և բարձրորակ պատյանների դեպքում, համապատասխանաբար):Այս առաջադրանքներից յուրաքանչյուրի համար ստացված մոդելները կարողացան հասնել համապատասխանաբար 0,99 և 0,97 AUC արժեքների, ինչը զգալիորեն ավելի լավ է, քան մեքենայի ազդանշանի ուժի ցուցիչի համար 0,82 և 0,78 համապատասխան AUC արժեքները կամ AlexNet-ի համար 0,97 և 0,94: ..(նկ. 3):ResNet-ի և AUC-ի միջև ազդանշանի ուժգնության տարբերությունն ավելի բարձր է, երբ ճանաչում եք բարձրորակ պատկերներ, ինչը ցույց է տալիս այս առաջադրանքի համար ResNet-ի օգտագործման լրացուցիչ առավելությունները:
Գրաֆիկները ցույց են տալիս յուրաքանչյուր անկախ գնահատողի կարողությունը միավորներ հավաքելու և համեմատելու մեքենայի կողմից հաղորդված ազդանշանի ուժգնության հետ:(Ա) Գնահատվող միավորների հանրագումարն օգտագործվում է գնահատվող միավորների ընդհանուր թիվը ստեղծելու համար:4 ընդհանուր ընդլայնելիության գնահատական ​​ունեցող պատկերներին հատկացվում է բարձր որակ, մինչդեռ 1 կամ ավելի ցածր ընդհանուր մասշտաբայնության գնահատականով պատկերներին հատկացվում է ցածր որակ:(B) Ազդանշանի ինտենսիվությունը փոխկապակցված է ձեռքով հաշվարկների հետ, սակայն ազդանշանի բարձր ինտենսիվությամբ պատկերները կարող են լինել ավելի վատ որակի:Կարմիր կետավոր գիծը ցույց է տալիս արտադրողի կողմից առաջարկվող որակի շեմը՝ հիմնված ազդանշանի ուժգնության վրա (ազդանշանի ուժը \(\ge\)6):
ResNet-ի փոխանցման ուսուցումն ապահովում է պատկերի որակի նույնականացման զգալի բարելավում ինչպես ցածր որակի, այնպես էլ բարձրորակ օգտագործման դեպքերում՝ համեմատած մեքենայի կողմից հաղորդված ազդանշանի մակարդակների հետ:(A) Նախապես պատրաստված (i) ResNet152 և (ii) AlexNet ճարտարապետությունների պարզեցված ճարտարապետական ​​դիագրամներ:(B) ResNet152-ի վերապատրաստման պատմությունը և ընդունիչի կատարողականի կորերը՝ համեմատած մեքենայի հաղորդված ազդանշանի ուժի և AlexNet-ի ցածր որակի չափանիշների հետ:(C) ResNet152 ընդունիչի վերապատրաստման պատմությունը և կատարողականի կորերը՝ համեմատած մեքենայի հաղորդված ազդանշանի ուժի և AlexNet-ի բարձր որակի չափանիշների հետ:
Որոշման սահմանային շեմը կարգավորելուց հետո ResNet152 մոդելի առավելագույն կանխատեսման ճշգրտությունը 95.3% է ցածր որակի դեպքում և 93.5% բարձր որակի դեպքում (Աղյուսակ 2):AlexNet մոդելի կանխատեսման առավելագույն ճշգրտությունը 91.0% է ցածր որակի պատյանների համար և 90.1% բարձրորակ պատյանների համար (Աղյուսակ 2):Ազդանշանի հզորության կանխատեսման առավելագույն ճշգրտությունը 76.1% է ցածր որակի օգտագործման դեպքում և 77.8% բարձրորակ օգտագործման դեպքում:Համաձայն Քոհենի կապպայի (\(\kappa\)), ResNet152 մոդելի և գնահատողների միջև համաձայնությունը ցածր որակի դեպքում 0,90 է, իսկ բարձր որակի դեպքում՝ 0,81:Քոենի AlexNet kappa-ն 0,82 և 0,71 է ցածր որակի և բարձրորակ օգտագործման դեպքերի համար, համապատասխանաբար:Կոենի ազդանշանի հզորությունը կապպա է 0,52 և 0,27 ցածր և բարձր որակի օգտագործման դեպքերի համար, համապատասխանաբար:
Բարձր և ցածր որակի ճանաչման մոդելների վավերացումը 6 մմ հարթ ափսեի 6 \(\x\) պատկերների վրա ցույց է տալիս վարժեցված մոդելի կարողությունը՝ որոշելու պատկերի որակը տարբեր պատկերային պարամետրերով:Պատկերի որակի համար 6 \(\x\) 6 մմ մակերեսային սալիկներ օգտագործելիս ցածր որակի մոդելն ուներ AUC 0,83 (95% CI՝ 0,69–0,98), իսկ բարձրորակ մոդելը՝ 0,85 AUC:(95% CI: 0.55–1.00) (Աղյուսակ 2):
Մուտքային շերտի դասի ակտիվացման քարտեզների տեսողական ստուգումը ցույց տվեց, որ բոլոր վարժեցված նեյրոնային ցանցերը պատկերների դասակարգման ժամանակ օգտագործում էին պատկերի առանձնահատկությունները (նկ. 4Ա, Բ):8 \(\ անգամ \) 8 մմ և 6 \(\ անգամ \) 6 մմ պատկերների համար ResNet-ի ակտիվացման պատկերները ուշադիր հետևում են ցանցաթաղանթի անոթային համակարգին:AlexNet-ի ակտիվացման քարտեզները նույնպես հետևում են ցանցաթաղանթի անոթներին, բայց ավելի կոպիտ լուծաչափով:
ResNet152 և AlexNet մոդելների դասի ակտիվացման քարտեզները ընդգծում են պատկերի որակի հետ կապված առանձնահատկությունները:(A) Դասի ակտիվացման քարտեզ, որը ցույց է տալիս համահունչ ակտիվացում ցանցաթաղանթի մակերեսային անոթներից հետո 8 \(\ անգամ \) 8 մմ վավերացման պատկերների վրա և (B) չափը ավելի փոքր 6 \(\ անգամ \) 6 մմ վավերացման պատկերների վրա:LQ մոդելը վերապատրաստվել է ցածր որակի չափանիշներով, HQ մոդելը վերապատրաստվել է բարձր որակի չափանիշներով:
Նախկինում ցույց է տրվել, որ պատկերի որակը կարող է մեծապես ազդել OCTA պատկերների ցանկացած քանակականացման վրա:Բացի այդ, ռետինոպաթիայի առկայությունը մեծացնում է պատկերային արտեֆակտների հաճախականությունը7,26:Իրականում, մեր տվյալների մեջ, համահունչ նախորդ ուսումնասիրություններին, մենք հայտնաբերեցինք զգալի կապ ցանցաթաղանթի հիվանդության տարիքի և ծանրության և պատկերի որակի վատթարացման միջև (p <0.001, p = 0.017 համապատասխանաբար տարիքի և DR կարգավիճակի համար. Աղյուսակ 1) 27 Հետևաբար, կարևոր է գնահատել պատկերի որակը մինչև OCTA պատկերների քանակական վերլուծություն կատարելը:OCTA պատկերները վերլուծող հետազոտությունների մեծ մասը օգտագործում է մեքենայի կողմից հաղորդված ազդանշանի ինտենսիվության շեմեր՝ բացառելու ցածր որակի պատկերները:Չնայած ցույց է տրված, որ ազդանշանի ինտենսիվությունը ազդում է OCTA պարամետրերի քանակականացման վրա, միայն ազդանշանի բարձր ինտենսիվությունը կարող է բավարար չլինել պատկերների արտեֆակտներով պատկերները բացառելու համար2,3,28,29:Ուստի անհրաժեշտ է մշակել պատկերի որակի վերահսկման ավելի հուսալի մեթոդ։Այդ նպատակով մենք գնահատում ենք վերահսկվող խորը ուսուցման մեթոդների կատարումը մեքենայի կողմից հաղորդված ազդանշանի ուժի համեմատ:
Մենք մշակել ենք պատկերի որակի գնահատման մի քանի մոդելներ, քանի որ OCTA-ի օգտագործման տարբեր դեպքեր կարող են ունենալ պատկերի որակի տարբեր պահանջներ:Օրինակ, պատկերները պետք է լինեն ավելի բարձր որակի:Բացի այդ, կարևոր են նաև հետաքրքրության կոնկրետ քանակական պարամետրերը:Օրինակ, ֆովալային ավասկուլյար գոտու տարածքը կախված չէ ոչ կենտրոնական միջավայրի պղտորությունից, այլ ազդում է անոթների խտության վրա:Թեև մեր հետազոտությունը շարունակում է կենտրոնանալ պատկերի որակի ընդհանուր մոտեցման վրա, որը կապված չէ որևէ կոնկրետ թեստի պահանջների հետ, բայց նախատեսված է ուղղակիորեն փոխարինելու մեքենայի կողմից հաղորդված ազդանշանի ուժը, մենք հույս ունենք օգտատերերին ավելի մեծ վերահսկման աստիճան տալ, որպեսզի նրանք կարող է ընտրել օգտագործողին հետաքրքրող կոնկրետ չափանիշ:ընտրեք մոդել, որը համապատասխանում է ընդունելի համարվող պատկերային արտեֆակտների առավելագույն աստիճանին:
Ցածր և բարձրորակ տեսարանների համար մենք ցույց ենք տալիս կապի բացակայող խորը կոնվոլյուցիոն նեյրոնային ցանցերի գերազանց կատարում՝ համապատասխանաբար 0,97 և 0,99 AUC-ներով և ցածրորակ մոդելներով:Մենք նաև ցուցադրում ենք մեր խորը ուսուցման մոտեցման բարձր արդյունավետությունը, երբ համեմատվում է միայն մեքենաների կողմից հաղորդվող ազդանշանի մակարդակների հետ:Բաց թողնել միացումները թույլ են տալիս նեյրոնային ցանցերին սովորել առանձնահատկություններ դետալների մի քանի մակարդակներում՝ ֆիքսելով պատկերների ավելի նուրբ կողմերը (օրինակ՝ հակադրություն), ինչպես նաև ընդհանուր հատկանիշներ (օրինակ՝ պատկերի կենտրոնացում30,31):Քանի որ պատկերի արտեֆակտները, որոնք ազդում են պատկերի որակի վրա, հավանաբար լավագույնս բացահայտվում են լայն տիրույթում, բացակայող կապեր ունեցող նեյրոնային ցանցերի ճարտարապետությունները կարող են ավելի լավ կատարողականություն ցուցաբերել, քան պատկերի որակի որոշման առաջադրանք չունեցողները:
Մեր մոդելը 6 \(\×6 մմ) OCTA պատկերների վրա փորձարկելիս մենք նկատեցինք դասակարգման արդյունավետության նվազում ինչպես բարձրորակ, այնպես էլ ցածր որակի մոդելների համար (նկ. 2), ի տարբերություն դասակարգման համար պատրաստված մոդելի չափի:Համեմատելով ResNet մոդելի հետ, AlexNet մոդելն ավելի մեծ անկում ունի:ResNet-ի համեմատաբար ավելի լավ կատարումը կարող է պայմանավորված լինել մնացորդային կապերի ունակությամբ՝ տեղեկատվություն փոխանցելու մի քանի մասշտաբներով, ինչը մոդելը դարձնում է ավելի ամուր՝ տարբեր մասշտաբներով և/կամ խոշորացումներով նկարահանված պատկերները դասակարգելու համար:
8 \(\×\) 8 մմ պատկերների և 6 \(\×\) 6 մմ պատկերների միջև որոշ տարբերություններ կարող են հանգեցնել վատ դասակարգման, ներառյալ պատկերների համեմատաբար բարձր համամասնությունը, որոնք պարունակում են անոթային անոթային տարածքներ, տեսանելիության փոփոխություններ, անոթային արկադներ և պատկերի վրա տեսողական նյարդ չկա 6×6 մմ:Չնայած դրան, մեր բարձրորակ ResNet մոդելը կարողացավ հասնել 85% AUC 6 \(\x\) 6 մմ պատկերների համար, մի կոնֆիգուրացիա, որի համար մոդելը պատրաստված չէր, ինչը հուշում է, որ պատկերի որակի մասին տեղեկատվությունը կոդավորված է նեյրոնային ցանցում: հարմար է.մեկ պատկերի չափի կամ մեքենայի կազմաձևման համար՝ դրա ուսուցումից դուրս (Աղյուսակ 2):Հուսադրող է, որ ResNet-ի և AlexNet-ի նման ակտիվացման քարտեզները 8 \(\ անգամ \) 8 մմ և 6 \(\ անգամ \) 6 մմ պատկերներով կարողացան ընդգծել ցանցաթաղանթի անոթները երկու դեպքում էլ՝ ենթադրելով, որ մոդելն ունի կարևոր տեղեկություններ:կիրառելի են երկու տեսակի OCTA պատկերների դասակարգման համար (նկ. 4):
Lauerman et al.OCTA պատկերների վրա պատկերի որակի գնահատումը նմանապես իրականացվել է՝ օգտագործելով Inception ճարտարապետությունը՝ մեկ այլ բաց թողնված կապակցված կոնվոլյուցիոն նեյրոնային ցանց6,32, օգտագործելով խորը ուսուցման տեխնիկան:Նրանք նաև սահմանափակեցին ուսումնասիրությունը մակերեսային մազանոթային պլեքսուսի պատկերներով, բայց միայն օգտագործելով Optovue AngioVue-ի ավելի փոքր 3×3 մմ պատկերները, չնայած ընդգրկված էին նաև տարբեր խորիորետինալ հիվանդություններով հիվանդներ:Մեր աշխատանքը հիմնված է դրանց հիմքերի վրա՝ ներառյալ բազմաթիվ մոդելներ՝ տարբեր պատկերների որակի շեմերը լուծելու և տարբեր չափերի պատկերների արդյունքները հաստատելու համար:Մենք նաև զեկուցում ենք մեքենայական ուսուցման մոդելների AUC չափանիշը և ավելացնում ենք դրանց արդեն տպավորիչ ճշգրտությունը (90%)6 և՛ ցածր որակի (96%), և՛ բարձր որակի (95,7%) մոդելների համար6:
Այս ուսուցումն ունի մի քանի սահմանափակում.Նախ, պատկերները ստացվել են միայն մեկ OCTA մեքենայի միջոցով, ներառյալ միայն մակերեսային մազանոթային պլեքսուսի պատկերները 8 \(\անգամ\)8 մմ և 6\(\անգամ\)6 մմ:Պատկերները ավելի խորը շերտերից բացառելու պատճառն այն է, որ պրոյեկցիոն արտեֆակտները կարող են ավելի բարդ և, հնարավոր է, ավելի քիչ հետևողական դարձնել պատկերների ձեռքով գնահատումը:Ավելին, պատկերները ձեռք են բերվել միայն դիաբետիկ հիվանդների մոտ, որոնց համար OCTA-ն առաջանում է որպես կարևոր ախտորոշիչ և կանխատեսող գործիք33,34:Թեև մենք կարողացանք փորձարկել մեր մոդելը տարբեր չափերի պատկերների վրա՝ համոզվելու համար, որ արդյունքներն ամուր են, մենք չկարողացանք բացահայտել տարբեր կենտրոններից համապատասխան տվյալների հավաքածուներ, ինչը սահմանափակեց մոդելի ընդհանրացման մեր գնահատումը:Թեև պատկերները ստացվել են միայն մեկ կենտրոնից, դրանք ստացվել են տարբեր էթնիկ և ռասայական ծագման հիվանդներից, ինչը մեր ուսումնասիրության եզակի ուժն է:Ներառելով բազմազանությունը մեր վերապատրաստման գործընթացում՝ մենք հուսով ենք, որ մեր արդյունքները կընդհանրացվեն ավելի լայն իմաստով, և որ մենք կխուսափենք մեր վարժեցրած մոդելներում ռասայական կողմնակալության կոդավորումից:
Մեր ուսումնասիրությունը ցույց է տալիս, որ կապի շրջանցող նեյրոնային ցանցերը կարող են վերապատրաստվել OCTA պատկերի որակը որոշելու համար բարձր արդյունավետության հասնելու համար:Մենք տրամադրում ենք այս մոդելները որպես հետագա հետազոտության գործիքներ:Քանի որ տարբեր չափումներ կարող են ունենալ պատկերի որակի տարբեր պահանջներ, յուրաքանչյուր չափման համար կարող է մշակվել որակի վերահսկման անհատական ​​մոդել՝ օգտագործելով այստեղ հաստատված կառուցվածքը:
Հետագա հետազոտությունները պետք է ներառեն տարբեր չափերի պատկերներ տարբեր խորություններից և տարբեր OCTA մեքենաներից՝ խորը ուսուցման պատկերի որակի գնահատման գործընթաց ստանալու համար, որը կարող է ընդհանրացվել OCTA հարթակներում և պատկերային արձանագրություններին:Ընթացիկ հետազոտությունը հիմնված է նաև վերահսկվող խորը ուսուցման մոտեցումների վրա, որոնք պահանջում են մարդու գնահատում և պատկերի գնահատում, ինչը կարող է աշխատատար և ժամանակատար լինել տվյալների մեծ հավաքածուների համար:Մնում է պարզել, թե արդյոք չվերահսկվող խորը ուսուցման մեթոդները կարող են համարժեք տարբերակել ցածր որակի և բարձրորակ պատկերների միջև:
Քանի որ OCTA տեխնոլոգիան շարունակում է զարգանալ, և սկանավորման արագությունը մեծանում է, պատկերի արտեֆակտների և անորակ պատկերների հաճախականությունը կարող է նվազել:Ծրագրային ապահովման բարելավումները, ինչպիսին է վերջերս ներդրված պրոյեկցիոն արտեֆակտի հեռացման գործառույթը, կարող են նաև մեղմել այս սահմանափակումները:Այնուամենայնիվ, շատ խնդիրներ մնում են, քանի որ վատ ֆիքսացիա կամ մեդիա զգալի պղտորություն ունեցող հիվանդների պատկերումը միշտ հանգեցնում է պատկերի արտեֆակտների:Քանի որ OCTA-ն դառնում է ավելի լայնորեն կիրառվում կլինիկական փորձարկումներում, անհրաժեշտ է մանրակրկիտ քննարկում պատկերների վերլուծության համար պատկերի արտեֆակտի ընդունելի մակարդակների հստակ ուղեցույցներ սահմանելու համար:OCTA պատկերների վրա խորը ուսուցման մեթոդների կիրառումը մեծ խոստումնալից է, և այս ոլորտում հետագա հետազոտություններ են անհրաժեշտ՝ պատկերի որակի վերահսկման ամուր մոտեցում մշակելու համար:
Ընթացիկ հետազոտության մեջ օգտագործված կոդը հասանելի է octa-qc պահոցում՝ https://github.com/rahuldhodapkar/octa-qc:Ընթացիկ ուսումնասիրության ընթացքում ստեղծված և/կամ վերլուծված տվյալների հավաքածուները հասանելի են համապատասխան հեղինակներից ողջամիտ պահանջով:
Spaide, RF, Fujimoto, JG & Waheed, NK Image artifacts in optical coherence angiography.Retina 35, 2163–2180 (2015):
Fenner, BJ et al.Պատկերային առանձնահատկությունների նույնականացում, որոնք որոշում են ցանցաթաղանթի մազանոթային պլեքսուսի խտության չափումների որակը և վերարտադրելիությունը OCT անգիոգրաֆիայում:BR.J. Ophthalmol.102, 509–514 (2018):
Lauerman, JL et al.Աչքերի հետագծման տեխնոլոգիայի ազդեցությունը OCT անգիոգրաֆիայի պատկերի որակի վրա տարիքային մակուլյար դեգեներացիայի ժամանակ:Գերեզմանի կամար.կլինիկական.Exp.ակնաբուժություն.255, 1535–1542 (2017):
Babyuch AS et al.OCTA մազանոթային պերֆուզիայի խտության չափումները օգտագործվում են մակուլյար իշեմիայի հայտնաբերման և գնահատման համար:ակնաբուժական վիրաբուժություն.Ցանցաթաղանթի լազերային պատկերացում 51, S30–S36 (2020):
He, K., Zhang, X., Ren, S., and Sun, J. Deep Residual Learning for Image Recognition.2016թ.-ին IEEE կոնֆերանսում՝ համակարգչային տեսողության և ձևանմուշների ճանաչման թեմայով (2016թ.):
Lauerman, JL et al.Ավտոմատացված OCT անգիոգրաֆիկ պատկերի որակի գնահատում խորը ուսուցման ալգորիթմների միջոցով:Գերեզմանի կամար.կլինիկական.Exp.ակնաբուժություն.257, 1641–1648 (2019):
Lauermann, J. et al.OCT անգիոգրաֆիայում հատվածավորման սխալների և շարժման արտեֆակտների տարածվածությունը կախված է ցանցաթաղանթի հիվանդությունից:Գերեզմանի կամար.կլինիկական.Exp.ակնաբուժություն.256, 1807–1816 (2018):
Պասկը, Ադամը և այլք:Pytorch. An Imperative, High Performance Deep Learning Library:Նյարդային տեղեկատվության առաջադեմ մշակում:համակարգ.32, 8026–8037 (2019):
Deng, J. et al.ImageNet. լայնածավալ հիերարխիկ պատկերների շտեմարան:2009 IEEE կոնֆերանս համակարգչային տեսողության և ձևանմուշների ճանաչման վերաբերյալ:248–255 թթ.(2009):
Krizhevsky A., Sutzkever I. և Hinton GE Imagenet դասակարգումը, օգտագործելով խորը կոնվոլյուցիոն նեյրոնային ցանցեր:Նյարդային տեղեկատվության առաջադեմ մշակում:համակարգ.25, 1 (2012):