Երբևէ լսե՞լ եք արտահայտությունը «Եթե չե՞ք շարժվում առաջ, ձեր անշարժ վիճակում եք»: Վերջին երեք տասնամյակների տեխնոլոգիական տարրերի հակիրճ հայացքն օգնում է վստահություն հաղորդել այս տրամադրությանը, օրինակ. VHS, Betamax, DVD, վինիլային, ձայներիզ, CD, MP3, տնային հեռախոս, բջջային հեռախոս, խելացի հեռախոս, տնային օգնականներ և այլն: Տեխնոլոգիաների առաջընթացը ձգտում է մեծացնել օգտվողների ընդունումը՝ դարձնելով այն ապրանքները, որոնք ավելի հեշտ են օգտագործել, ավելի հեշտ սպառել և ապահովել: ավելի անհատականացված օգտվողների փորձառություններ: Արհեստական ինտելեկտի (AI) ոլորտը տեխնոլոգիայի մի ոլորտ է, որը խթանում է նորարարություններն անհատականացնող օգտատերերի փոխազդեցությունները:
Երբևէ մուտքագրե՞լ եք հաղորդագրություն ձեր սմարթ հեռախոսով և մտածել «Ինչպե՞ս են այս անհատականացված հաջորդ բառերի կանխատեսումները այդքան ճշգրիտ»: բառերը, որոնք գուցե ձեր բառապաշարում չեն եղել մի քանի շաբաթ առաջ, այժմ ճիշտ են առաջարկվում մուտքագրելիս: «Ինչպե՞ս է դա հնարավոր»:
Դաշնային ուսուցում (FL):
Այս հոդվածի 1-ին մասը համառոտ ներկայացնում է AI-ի հետ կապված հայեցակարգերն ու մոտեցումները, որոնք ապահովում են հարթակներ, որոնք հնարավորություն են տալիս այս «Խելացի»փոխազդեցությունները: Ավանդական AI մոտեցումները, ինչպիսիք են մեքենայական ուսուցումը (ML), սովորաբար պահանջում են «Կենտրոնացված տվյալներ» և «Կենտրոնացված հաշվարկ» ռեսուրսներ: ուժեղ>բայց!!!, սա դառնում է ավելի քիչ իրագործելի, քանի որ մեծանում են և՛ տվյալների ծավալները, և՛ գաղտնիության հետ կապված մտահոգությունները:
FL-ն AI-ի շրջանակներում վերջերս կատարած հետազոտական դաշտն առաջարկում է նոր մոտեցում, որտեղ հաշվարկը «տեղափոխվում է»տվյալների վրա: Այն հնարավորություն է տալիս հեռավոր սարքերին, ինչպիսիք են խելացի հեռախոսները, «համատեղ սովորել» ընդհանուր մոդելը՝ օգտագործելով սարքի անհատականացված տվյալները:
Ընդհանուր դաշնային ուսուցման նկատառումներ:
Դաշնային ուսուցումն ունի իր մարտահրավերները, «Ինչպե՞ս ստեղծել հուսալի մոդելներ, երբ տվյալները գտնվում են անվստահելի ինտերնետ կապի վերջում»: նշել միայն մեկը: Դաշնային ալգորիթմներ, ինչպիսին է Դաշնային միջինը (FedAvg¹) առաջարկվել են այս մարտահրավերը լուծելու համար, սակայն, FL մշակողները նույնպես բախվում են մոդելավորման դիզայնի բազմաթիվ նկատառումների, ինչպիսիք են.
- Հեռավար ուսուցման քանի՞ փուլ պետք է անցկացվի:
- Որքա՞ն տեղական ուսուցում պետք է տեղի ունենա սարքի վրա:
- Ի՞նչ ռազմավարություն պետք է օգտագործվի FL մոդելները գնահատելիս:
Այս հոդվածի Մաս 2ը մանրամասնում է, թե ինչպես կարելի է գործնականում կիրառել FL՝ օգնելու պատասխանել այս հիմնական հարցերին: Այն ցուցադրում է FedAvg ալգորիթմը TensorFlow Federated (TFF) մոդելավորման միջավայրում: Նմուշի բնութագրման փորձերը պատկերված են համապատասխան մոդելի պարամետրերի հետ միասին:
Դաշնային ուսուցման տեսություն և հասկացություններ:
Մեքենայական ուսուցման (M.L) մոտեցումների մեծ մասն աշխատում է կրկնվող գործընթացում: Նրանք աշխատում են այն ինտուիցիայի վրա, որ կա ինչ-որ ֆունկցիա, որը քարտեզագրում է «մուտքային»տվյալները «ելք» տվյալները։ Ընդհանրապես, այս բոլոր մոտեցումները պարզապես կարելի է դիտարկել որպես Համընդհանուր ֆունկցիաների մոտավորիչների տեսակներ: Այն, թե ինչպես են նրանք մոտեցնում պահանջվող ֆունկցիան (f) տարբեր է մեքենա սովորողների յուրաքանչյուր տեսակի համար, բայց նրանք բոլորն էլ հետևում են հիմնական երեք քայլի հոսքին:
Մեքենայի ուսուցման ծրագրաշարը մուտքագրում է «վերապատրաստման տվյալներ», digest «սովորում է համապատասխան ֆունկցիայի պարամետրերը» և վերլուծում «վարժեցված մոդել» որը կարող է օգտագործվել նախկինում չտեսնված նոր տվյալների վերաբերյալ ողջամիտ կանխատեսումներ անելու համար:
Երբ ասում ենք, որ մեքենան «սովորում է», ի՞նչ է սա նշանակում:
Ընդհանրապես ML-ը կարելի է համարել օպտիմալացման խնդիր: Վերահսկվող ուսուցման համար կորստի ֆունկցիան f(x) մոտավոր է, և մոդելի կանխատեսումը չափվում է՝ տեսնելու համար, թե ինչպես «մոտ / ճշգրիտ»դա ճիշտ պատասխաններին է: Ինչ-որ իմաստով կորստի ֆունկցիան օգնում է քանակականացնել վարժեցված մոդելի կանխատեսման ճշգրտությունը:
Մաթեմատիկորեն; որտեղ L-ը կանխատեսող ֆունկցիայի (f), (x) մուտքի և (y<) լրիվ կորուստն է: /em>) ելք:
Կորուստը նվազագույնի հասցնելու բազմաթիվ մեթոդներ և ալգորիթմներ կան:
Ընդհանուր կորստի մեթոդ, որը կոչվում է Գրադիենտ ծագում սովորաբար օգտագործվում է Deep Learning Neural Networks (DLNN) ցանցերում: Սկզբում ցանցը «միամիտ» է, այն չգիտի, թե ինչ գործառույթ է մուտքագրում մուտքերը ելքերին: Ցանցը սովորում է՝ ցույց տալով վերապատրաստման տվյալների նմուշներ, այնուհետև կարգավորել ցանցի պարամետրերն այնպես, որ այն «մոտավորի այս ֆունկցիան»:
Այս պարամետրերը գտնելու համար մենք պետք է իմանանք, թե որքան վատ է ցանցը կանխատեսում իրական արդյունքները: Մենք պարբերաբար օպտիմիզացնում ենք «կորուստ / ծախսեր»ֆունկցիայի պարամետրերըօգտագործելով տարբեր ալգորիթմներ, ինչպիսիք են “Գրադիենտի անկումը « ուսուցման տվյալների վրա՝ «սովորած»պարամետրերը տեղափոխելով համապատասխան ուղղությամբ՝ նվազագույնի հասցնելու կորուստը:
Կենտրոնացված Մեքենայի ուսուցում ընդդեմԴաշնային ուսուցման:
Հեռակա հաղորդակցությունը այն «բնածին»սահմանափակումն է, որով պետք է բավարարվի Դաշնային պարադիգմը: Ուսուցման քայլերը կամ գրադիենտ իջնելը առանձին սարքեր տեղափոխելը հաղորդակցության սահմանափակումը մեղմելու մոտեցումներից մեկն է:
FL-ն իր էությամբ ներառում է կրկնվող գործընթաց²: Կենտրոնացված հաղորդակցության պահանջները սահմանափակելու ձգտումը՝ այս հաջորդական քայլերը տեղային սարքեր տեղափոխելով, օգնում է օպտիմալացնել վերապատրաստման ընդհանուր գործընթացը:
Դաշնային միջինացման ալգորիթմ (FedAvg):
Տիպիկ FedAvg վերապատրաստման փուլը բաղկացած է հետևյալ հաջորդականությունից³.
ա) Ֆեդերացիայի անդամների պատահական ենթաբազմություն (հաճախորդներ/սարք), որոնք ընտրվել են նախնական գլոբալ մոդելը ստանալու համար (սինխրոն);
բ) Վերապատրաստման ընթացիկ փուլի համար ընտրված յուրաքանչյուր հաճախորդ հաշվարկում է իր տեղական մոդելի թարմացումները՝ օգտագործելով տեղական տվյալները «Սարքի վրա ուսուցում»;
գ) Հաճախորդն ուղարկում է իր թարմացումները սերվերին;
դ) Կենտրոնական սերվերը համախմբում է հաճախորդի բոլոր թարմացումները (միջին հաշվարկով)՝ բարելավված գլոբալ մոդել կառուցելու համար:
Գործընթացը կրկնվում է վերապատրաստման ևս մեկ փուլով, մինչև մոդելի պարամետրերը միանան, ինչպես որոշվում է համապատասխան չափանիշներով:
Հաճախորդ. Կատարվում է «գրադիենտ վայրէջք»:
Սերվեր. Համախառն «միջին հաճախորդների թարմացում»:
K.հաճախորդները ինդեքսավորվում են k-ով; η սովորելու արագությունն է:
Հաճախորդի հաշվարկների քանակը վերահսկվում է երեք հիմնական պարամետրերով.
- C Հաճախորդների մասնաբաժինը, որոնք հաշվարկներ են կատարում յուրաքանչյուր փուլի համար
- B վերաբերում է տեղական մինի փաթեթի չափին
- E վերաբերում է տեղական դարաշրջանների քանակին:
Դաշնային միջինացված հիպերպարամետրեր:
Համապատասխան արժեքների ընտրությունը # Rounds-ի և # հեռավոր օգտագործողների սարքերի համար սովորաբար համարվում է էվրիստիկ մոտեցում:
FL-ի իրական բառային հավելվածում, որտեղ հեռավոր սարքերի տիրույթը շատ մեծ է, սարքերի ընտրությունը կատարվում է պատահականորեն, այսինքն.
•[K]՝ հասանելի սարքերի տիրույթ,
- Պատահականորեն ընտրեք tօգտագործողի/սարքերի ենթաբազմությունը, որտեղt⊆[K] գնացք.
Ամփոփում.
Քսան քսանականները կոչվում են «Տվյալների տասնամյակ» ³: Այնպիսի տեխնոլոգիաների գալուստով, ինչպիսիք են Edge computing-ը և 5G հաղորդակցությունը, անհատականացված տվյալների ստեղծման հետագիծը գնալով մեծանում է: Խնդիրն այն է, որ այս տվյալների մեծ մասը ստեղծվում է և գտնվում է եզրին, պարփակված⁴«մեկուսացված կղզիներում»,, այսինքն՝ խելացի հեռախոսների, ծայրամասային սարքերի վրա:
Խորաթափանց ներուժ կա, եթե գտնվեն համապատասխան մեթոդներ, որոնք հնարավորություն կտան այս սարքերին գլոբալ համագործակցության համար: Համաշխարհային առողջապահական համաճարակը 2020-ականների սկզբում տեսել է օգտատերերի և առողջապահական մարմինների միջև փոխշահավետ համագործակցություն՝ կապի հետագծման հավելվածների⁵ հիման վրա՝ հիմնված օգտատերերի խիստ անհատականացված «սարքի վրա» տվյալների վրա: FL-ի օգտագործումը մարդահամարի տվյալների յուրացման եղանակը արդիականացնելու համար կարող է հեղաշրջում կատարել կառավարական պլանավորումը: Պատկերացրեք, որ սոցիալական պոտենցիալ օգուտներն այն են, որ իրական ժամանակում մարդահամարի տվյալները հասանելի են դառնում «սարքի վրա» օգտատիրոջ տվյալների հիման վրա:
Ֆեդերատիվ ուսուցումը պատրաստված է որպես այս ներուժն ազատագրելու առաջապահ տեխնոլոգիա: Դրա հաջողությունը մեծապես կախված կլինի զարգացման լրացուցիչ գործիքների առկայությունից և նրա կողմից առաջարկվող գաղտնիության և անվտանգության առավելությունների նկատմամբ շարունակական վստահությունից: Տեխնոլոգիա ունենալը մի բան է, բայց հաջողությամբ ապահովելը մեկ այլ բան:
Այս հոդվածի 1-ին մասը համառոտ նայեց Ֆեդերատիվ ուսուցման որոշ հիմնական հասկացություններին և Մաս 2-ը գործնականում կիրառեց դրանք TensorFlow դաշնային սիմուլյացիոն միջավայրում: Այն ձգտում է որոշակի պատկերացում և ինտուիցիա տրամադրել հետագա հետազոտությունների և փորձերի համար դաշնային ուսուցման ապագա մշակողի համար:
Եզրափակիչ մեկնաբանություններ.
(Դեկարտ, 1637) Ռենե Դեկարտի «Ես կարծում եմ, ուրեմն ես եմ» արտահայտությունը ենթադրում է, որ միտքը մարդկային բնորոշ հատկանիշն է: Գրության գալուստը թույլ տվեց վաղ հասարակություններին համագործակցել և կիսվել այս մտքերով: Մարդկությունն ու հասարակությունը, որում մենք ապրում ենք այսօր, այս համագործակցությունների և գործողությունների դրսևորումն է։ Ճիշտ այնպես, ինչպես գրիչը մարդկանց հնարավորություն է տվել արդյունավետորեն կիսվել իրենց մտքերով, ամենատարբեր անհատական սարքերը (UPD)՝ ներծծված զգայական օբյեկտների առատությամբ, նոր հնարավորություններ են տալիս անձնական համագործակցության համար՝ մինչ այժմ անտեսանելի ձևերով: Ինչպիսի՞ն կլինի մարդկությունը և վաղվա հասարակությունը, եթե մենք փոխշահավետ ուղիներ գտնենք՝ կիսելու մեր անձնական սարքերում ստեղծվող տվյալների կորպուսը:
Նշումներ և մեջբերումներ.
Հեղինակի մասին՝
Քոլին Բիրնը ՏՏ մասնագետ է, որն ունի ավելի քան 25 ոլորտի փորձ և վերջին (2020) մագիստրոս: ավարտել է Լիմերիկի համալսարան արհեստական ինտելեկտը:
Հղումներ՝
[1] 2017 Խորը ցանցերի հաղորդակցման արդյունավետ ուսուցում ապակենտրոնացված տվյալներից, հասանելի՝ https://arxiv.org/abs/1602.05629, McMahan, H. Brendan, et al.
[2] 2017 DIMACS/Northeast Big Data Hub սեմինար՝ տվյալների փոխանակման խոչընդոտների հաղթահարման վերաբերյալ, ներառյալ գաղտնիությունը և արդարությունը, հասանելի է հետևյալ հասցեում՝ http://dimacs.rutgers.edu/archive/Workshops/Barriers /Slides/mcmahan.pdf, ՄակՄահան, Բ.
[3] 2020 CRN. News,Հասանելի է՝ https://www.crn.com/news/running-your-business/ceo-outlook-why-2020-will-be-the-launch-of-the-data -տասնամյակ-, Հարանասի, Մ.
[4] 2020 An Overview of Federated Learning,Հասանելի է՝ https://medium.com/datadriveninvestor/an-overview-of-federated-learning-8a1a62b0600d, Հան, Բ.
[5] 2020 թ., Ինչո՞ւ են Google-ը և Apple-ը թելադրում, թե ինչպես են եվրոպական ժողովրդավարությունները պայքարում կորոնավիրուսի դեմ,
Հասանելի է հետևյալ հասցեում՝ https://www.theguardian.com/commentisfree/2020/jun /16/google-apple-dictating-european-democracies-coronavirus?CMP=Share_AndroidApp_Gmail, Ivea, I, The Guardian:
