(Հետևյալ տեքստը մեքենայական թարգմանությամբ հետևյալ հղումից թարգմանված տեքստ է։ https://qiita.com/kzuzuo/items/9a149e69642ee7b3221e)

Անցյալ տարվանից ես ներդրել, շահագործել և ստուգել եմ AI, որն իրականացնում է նմանատիպ արտոնագրեր SDI-ում իմ ազատ ժամանակ:

Այնուամենայնիվ, հիմնական բիզնեսը դառնում է զբաղված, և դժվար թե կարողանա շարունակել բարելավման ստուգումը:
Ես հրապարակում եմ իրականացումը:

Հուսով եմ, որ ինչ-որ մեկի համագործակցությունը կամ նման մի բան կանեն և կհրապարակվեն:
(Այսուհետ մենք կթարմացնենք կամ կավելացնենք ըստ անհրաժեշտության:)

Վերացական:

Բնական լեզվով արհեստական ​​ինտելեկտի ներդրման օրինակ, որը համատեղում է խորը ուսուցման բազմաթիվ մոդելներ և Outlook-ը, որը կենտրոնանում է մոդելների բազմազանության վրա (ընդհանուր զեկույց)
Http://patentsearch.punyu.jp/asia/2018hayashi.pdf
・ Լավ արդյունքներ ձեռք են բերվել հետկանչման և AUC գծապատկերներով՝ որպես գնահատման չափանիշներ:

Անում է:

  1. Իսկապե՞ս կա մոդելային անհատականություն:
  2. Ինչպե՞ս ենք մոդելը դարձնում յուրահատուկ:
  3. Ինչպե՞ս կարող ենք գնահատել բազմազանությունը և ստանալ ավելի լավ արդյունքներ:

Ընթացիկ կարգավիճակը:

Բիզնեսի առաջնահերթությամբ առաջ գնալը հեշտ չէ։ Բայց ես ուզում եմ իմանալ արդյունքը։

Ստացված արդյունքները.

  1. Իսկապե՞ս կա մոդելային անհատականություն: ・ Կարծես այնտեղ է:

Ա. Երեք մոդելներում n = 3-ի կանխատեսման արդյունքները համեմատելու գործընթացում նկատվում են անհատականության տարբերություններ՝ կախված մոդելներից:

Բ. Ես կիրառեցի SHAP (Shapley Additive exPlanations) https://github.com/slundberg/shap բնական լեզվին և ուսումնասիրեցի այն, մոդելների միջև նկատվեցին անհատականության տարբերություններ:

Նկար 1. png
Նկ. 1) 2 մոդելի ուժի_հողամասը: նախապատրաստման word2vec-ի վրա հիմնված maxpooling մոդելը (ձախ), keras embed վրա հիմնված maxpooling մոդելը (աջ):

・ Հորիզոնական առանցք՝ արտոնագրված նախադասությունների 40 նմուշ: Ձախ կեսը 20 սխալ պատասխանող թեկնածու է: Աջ կեսը 20 ճիշտ պատասխանի թեկնածու է:
・ Ուղղահայաց առանցք. Կարմիր և կապույտ գոտիների սահմանը ճիշտ պատասխան դասակարգվելու հավանականությունն է:
* Ուղղահայաց առանցքի սանդղակը հավասարեցված չէ: . Ցանկացած մոդելում կարմիր ժապավենի առավելագույն դիրքը մոտավորապես 1 է:
・ հղում
Բացատրելի մեքենայական ուսուցման կանխատեսումներ վիրահատության ժամանակ հիպոքսեմիայի կանխարգելման համար Https://www.nature.com/articles/ s41551-018-0304-0

・ Ես փորձեցի մի քանի անգամ, բայց ալիքի ձևը կայուն է: (Պատահական թիվը ֆիքսված չէ:) (Ձախ մոդելի կանխատեսված արժեքը հավանաբար տատանվում է, բայց այն դեռ կայուն է:)
* Ալիքի ձևը տարբերվում է կախված մոդելից = Մոդելը կարող է գտնել կամ չգտնել ճիշտ պատասխանը նույն արտոնագրում =› Ընդհանուր կատարումը պետք է բարելավվի՝ հանելով այն մասը, որտեղ միայն որոշակի մոդելին կարելի է ճիշտ պատասխանել: ! «Այսպես կոչված» անսամբլներում այն ​​կարող է ճիշտ չարտահանվել:

Գ. Հիմնական բառերը ընդգծվել են՝ օգտագործելով SHAP արժեքները… բայց բառերի հիման վրա հստակ մոդելային տարբերություններ չեն հայտնաբերվել: =› Տեսվել է.

Նկար 2. png
Նկ. 2) SHAP-ի ամենաբարձր արժեք ունեցող բառի համեմատությունը նախապատրաստման word2vec-ի վրա հիմնված maxpooling մոդելում (ձախ) և keras embed-ի վրա հիմնված maxpooling մոդելում (աջ) (1 դեպքի դեպքում): արտոնագիր, որտեղ անհատական ​​տարբերություն չի հայտնաբերվել)

・ Այն արտոնագրում, որտեղ անհատական ​​տարբերությունները չեն երևում, թվում է, թե ընդգծված բառերն առանձնապես չեն տարբերվում։ Արդյո՞ք աջ կողմում գտնվող մոդելն ավելի նման է tfidf-ին:
・ Այն արտոնագրում, որտեղ նկատվում էր անհատականության որոշակի տարբերություն, ընդգծված բառերի մեջ հստակ տարբերություն կար: Ձախ կողմում գտնվող մոդելում թվում է, որ նման իմաստների և արժեքների վրա հարակից բառերի միավորումը տեղի է ունեցել, ինչպես և սպասվում էր: (Չի բացահայտում հարցման քաղաքականությունը, քանի որ այն ավելի պարզ է դառնում:)
* Նույն բառը կարող է ունենալ տարբեր SHAP արժեքներ: Այն պետք է ունենա մի քանի բառից առաջ և հետո ընդամենը մի փոքր հեռավորություն, և գրեթե կորցներ կախվածության կառուցվածքը, բայց կա՞ արդյոք որոշակի իմաստ նույնիսկ կարճ հեռավորության վրա:
* Թեև թեման տարբեր է, բայց նաև. հնարավոր է այստեղից հանել հատկանշական բառեր:
* LIME https://github.com/marcotcr/lime-ը նույնպես օգտագործվել է, բայց դա ևս մեկն էր: Միտումը նման էր SHAP-ին: (LIME-ում միտում կար, որ տատանումները մեծ էին և հեշտ էր հարվածել ֆունկցիայի բառին):

Հարցեր.

X. Ես ճի՞շտ եմ օգտագործում SHAP-ը:
Այն պետք է ճիշտ լինի, բայց կոդը չի կարելի հետևել, և SHAP-ի կիրառումը բնական լեզվի վրա հաստատված չէ: Այս մասին
Keras LSTM for IMDB Sentiment Classification
Https://slundberg.github.io/shap/notebooks/deep_explainer/Keras%20LSTM%20for%20IMDB%20Sentiment%20Classification.html
・ Արդյունքում, թվում է, որ ստացվում են ողջամիտ արդյունքներ:
* Մոդելի անհատականությունը գնահատելիս ավելի լավ է ունենալ մեկ գնահատման ստանդարտ: Քանի որ SHAP-ը բազմակողմանի է թվում, ես կցանկանայի հնարավորինս օգտագործել այն:

Y. Ինչպես կատարել մոդելի անհատականություն:
Ենթադրելով, որ SHAP-ի օգտագործումը ճիշտ է,
・ Ես փորձել եմ փոխել հիպերպարամետրերը, բայց մինչ այժմ անհատականության մեջ որևէ փոփոխություն չի նկատվել: (Որքանով է փոխվում կարմիր և կապույտ շերտերի լայնությունը որպես ամբողջություն: Ալիքի ձևի օրինաչափությունը չի փոխվում:) (Լոկալ նվազագույնը չկա՞)
・ Անհատականության մեջ փոփոխություն չկա, երբ համեմատում ենք keras embed-ի վրա հիմնված maxpooling մոդելը keras embed-ի վրա հիմնված CNN մոդելի հետ:
・ Փորձարկվել է նաև Random Forest-ը, սակայն չի կարող դիտարկվել, քանի որ այն չափազանց ցածր էր՝ 0,75 միավորով: (Ալիքի ձևի օրինաչափությունը ինչ-որ կերպ նման էր առևտրային AI-ին: Մենք կքննարկենք մի փոքր ավելին:)
・ Հատկանշական նախնական մշակումը և խոսքի մասի սահմանափակ նախնական մշակումը կարող են ցույց տալ անհատականություն: (Գոյական կողմնորոշված ​​և արտոնագրված նախադասությունները մի քանի ածական մակդիրներով կարող են օգտագործվել ֆունկցիայի բառերը կտրելու համար, ինչը անհատին առանձնացնում է): /> ・ Կարծում եմ, որ այն կորպուսը, որն օգտագործվում է բաշխված արտահայտությունների նախնական ուսուցման համար, կարող է մեծապես ազդել անհատականության վրա: (Իմ ձևով, կորպուսը պետք է կողմնակալ լինի, և եթե կորպուսը չափազանց մեծ է, այն պետք է անօգուտ լինի: Եթե հեշտ է մեծացնել անհայտ բառերը, կարևոր է դառնում անհայտ բառերի մշակումը (OOV): Ես գիտեի, որ հաջորդը վեկտորային միջինացումն է: լավագույն լուծումը, ուստի ես որոշեցի այն դարձնել ավելի համապատասխան: Ես ակնկալում եմ, որ այն ավելի տեղին կլինի: Magnitude https://github.com/plasticityai/magnitude.)
・ BERT-ը կլինի անհատականություն, որը չի կարող լինել բացառված է այն առումով, որ չկա անհատականություն, այլ բարձր կատարողականություն: Եթե ​​այն իրագործվի, ապա հավանաբար անհարկի կդառնա կոմերցիոն AI-ի համար (թեև դա ավելորդ է, եթե նույնիսկ ավելորդ է, բայց անհատականությունը վերլուծելու անհնարինությունից զատ, մենք ակնկալում ենք ապագայում կատարելագործվել և որոշ ժամանակ թողնել: )
・ Հուսով ենք, որ ճապոնական լայնածավալ SNS + թեժ հղումների վեբ կորպուսը լավ առաջարկություն կտա անհատականությունը հասկանալու համար: https://www.hottolink.co.jp/blog/20190304-2.
・ HottoSNS-BERT-ը նույնպես: https://www.hottolink.co.jp/blog/20190311-2
・ Keidai MeCab բազա? BERT-ը նույնպես:
・ Մենք հնարավորություն տվեցինք օգտագործել ճշգրտված BERT-ը ստանդարտ բազմալեզու մոդելով որպես փորձնական: (մուտքի չափը 1/3 Epo16 acc0.9 4 րոպե. մուտքի չափը 1/2 Epo16 acc0.9 6 րոպե. =› Հոդվածի վերջում ավելացրեք BERT անհատականությունը:)

Զ. Ինչպե՞ս հասկանալ և գնահատել մոդելի անհատականությունը:
・ Ստեղծել մոդելների բազմաթիվ անհատականություններ, բաժանել դրանք կլաստերների, համեմատել բնորոշ բառերը կլաստերներում և բնորոշ բառերը յուրաքանչյուր մոդելի համար, վերլուծել FA, գործոնային վերլուծություն, միացնել դրանք հասկանալու, և գնահատել, թե ինչպես նրանց ըմբռնման հիման վրա մենք եզրակացություն կստանանք, թե ինչ պետք է անել:
・ Գնահատման գնահատականը, հիմնականում, կստացվի «գնահատել միայն լավ մասը» և «կոլեկտիվ ինտելեկտը/կոլեկտիվ ինտելեկտը»: Կոլեկտիվ ինտելեկտը կկորչի միջին գնահատման ժամանակ։ (Նույնը, ինչպես մարդը):

Նկար 4. png
Նկ. 3) k-means-FA դիագրամ այն ​​դեպքում, երբ յուրաքանչյուր արտոնագրի tfidf հիպերնիմի վրա կիրառվում է հատուկ բաշխված արտահայտություն, և անալոգիան / հարակից բառերն արհեստականորեն կողմնակալված են: Փորձն իրականացվել է յուրաքանչյուր ապակենտրոնացված արտահայտության ազդեցության զգացում ստանալու համար:

  • Մեթոդ, որը հիմնված է այն վարկածի վրա, որ մարդիկ լեզուն ստեղծել են այնպես, որ մարդիկ կարողանան հասկանալ գործոնը, բայց դա իրականում կարող է լինել… կախված մոդելից, այն կարող է վերածվել անհասկանալի, քանի որ այն մերժում է այնպիսի կարևոր գործոններ, ինչպիսիք են կախվածության կառուցվածքը: Հնարավոր է. Եթե ​​բառը հիմնական գործոնն է և կարող է մոտ 90%-ը բացատրել միայն բառով, ապա ճանաչելիությունը կարծես թե բարձր է։ (Եթե հայտնաբերվի գործոն, և այն մնա մոտ յոթ գործոնի, այն կարելի է հասկանալ, և դրա օգտագործմամբ կանոնների վրա հիմնված մշակումը հնարավոր կլինի, և այն ավելի լավ կգործի, քան խորը ուսուցման մշակումը: Նույնիսկ լեզվի մշակման դեպքում, ինչպիսին Go-ն է, այն կարող է փոխվել. AI-ից սովորելու ուղղությունը:)
  • Սոցիալական ցանց https://en.wikipedia.org/wiki/%E7%A4%BE%E4%BC%9A%E7%9A%84%E3%83%8D%E3%83%83%E3%83% 88%E3%83%AF%E3%83%BC%E3%82%AF կարող է կարևոր լինել գնահատման համար…
  • Կարծում եմ, որ հավանականություն կա, որ դա կարելի է գնահատել միայն pretrain word2vec-ի և keras embed-ի կրկնակի գլուխը միացնելով, բայց դեռ չեմ փորձել։ (Քանի որ չկա մի կառույց, որը «գնահատում է միայն լավ մասը», ինչը կարևոր է բազմազանության գնահատման մեջ, ես զգում եմ, որ երկու գլուխները խանգարել են միմյանց: =› Երկու գլուխները խանգարել են միմյանց:)

Outlook:

Իմ սկզբնական շարժառիթն էր ստեղծել «օգնական AI», որը կարող է լրացնել առևտրային հասանելի AI-ն, և ստեղծել «AI, որը ներկայացնում է ապագայի կանխատեսման տեսակը»:
Կարծում եմ, որ դա հնարավոր է:

«Օգտագործեք կանխատեսման տիպի կորպուս՝ օգտագործելով VALUENEX տվյալները և այլն, և կարիքների նկարագրություն ունեցող կորպուս, ինչպիսիք են SNS», «Թող» նմանությունը և հարակից բառերը «լինեն» աղավաղված և ինտեգրված «հիմնվելով յուրաքանչյուր կորպուսի ցուցադրած արժեքների վրա»: Հնարավոր է: իրականացնել ապագայի կանխատեսման AI, եթե յուրաքանչյուր «արժեքի (հայեցակարգ, իմաստային հիշողություն, զգայունություն)» վրա հիմնված «անհատականությունը» պատշաճ կերպով գնահատվի (հնարավորության դեպքում): Դա պետք է լինի: (Գոնե բժշկական համակարգերում, որտեղ ազատության աստիճանը ցածր է)

  • Համեմատաբար երկարաժամկետ հիշողություն հաղորդելու փորձեր են արվել, բայց կարծում եմ, որ ձեր մուտքագրած տեքստն ամբողջությամբ հիշելը բավարար չէ։ Երկարատև հիշողությունը, որն իսկապես անհրաժեշտ է բնական լեզվով, կարող է լինել ամբողջ մուտքագրված տեքստից դուրս հիշողություն և «բառարան» և «արժեքների (հասկացություն, իմաստային հիշողություն, զգայունություն)» անոտացիա: Դրանցից, կարծում եմ, BERT-ն այն մեկն է, որը կենտրոնանում է «բառարանի» վրա: (Որպես պատկեր, կարճ հեռավորություն՝ word2vec-maxpooling ‹միջին հեռավորություն՝ LSTM ‹երկար հեռավորություն՝ «բառարան» ‹հեռավոր վաղ առավոտյան ուղղությամբ՝ «արժեք (հայեցակարգ, իմաստային հիշողություն, զգայունություն)»:)
  • Կանխատեսելիության հիմնական գործոնը
  • Դուք կարող եք հասկանալ պատճառականությունը և չափել այն:
  • Անցյալի տվյալները բավականաչափ կան։
  • Կանխատեսումը չի ազդում գուշակվելիք բաների վրա:
  • Ապագան ինչ-որ չափով նման է անցյալին ինչ-որ առնչությամբ: Կանխատեսումը ուսումնասիրելով, և ե՞րբ պետք է հրաժարվենք: Կանխատեսելիության սահմանները՝ http://robjhyndman.com/seminars/yahoo2015/

Որպես պատկեր՝
SNS «Արտադրանքի բեռնարկղը X է»
=› Բաշխված արտահայտություն՝ հիմնված արժեքների վրա
=› Ավելի բարձր, քան ապրանքների կամ տարաների հետ հետազոտության ժամանակ
‹= Բազմազանությունը գնահատելիս ուղղում (քանի որ կողմնակալ արժեքները նաև ճիշտ պատասխանի աղբյուր են, բայց նաև աղմուկի աղբյուր)

կոդ:
Այն կազմակերպելուց հետո կտրվի այն մարդկանց, ովքեր դրա կարիքն ունեն: (Չնայած կան ընդամենը մի քանի շրջադարձ)
Անձամբ ինձ դուր չի գալիս ներկայիս իրավիճակը, երբ բաց բազային AI տեխնոլոգիայի օգտագործումը չափազանց մեծ գումար է: Պատրաստվեք mail2 փոստի ոչ ամպային ձևին և արդյոք առաջարկել ծանոթ անհատների և փոքր բիզնեսի գիտելիքները: Ես ուզում եմ շարժվել Raspberry Pi-ի միջակայքում, բայց… Coral, Jetson Nano-ն նույնպես լավ տեսք ունի:

այսքանն է:

Հետգրություն
・ The Language Processing Society NLP2019-ը շատ հետաքրքիր էր:

Ավելացվել է 20190319
-BERT անհատականություն:

Նկար BERT1.png

・ ・ ・ ・ ・ Բոլոր հարցերին ճիշտ պատասխանել են ճիշտ պատասխանող թեկնածուին: Այնուամենայնիվ, կա մի հատված, որը մոլորեցնում է վստահորեն սխալ պատասխանող թեկնածուին: Այն կատարյալ չէ:
-Չնայած տարբեր մուտքեր չեն օգտագործում նույն մուտքագրումը, ինչ մյուս մոդելները, արդյոք ստանդարտ բազմալեզու մոդելի նուրբ թյունինգները հնարավո՞ր են տալ բարձր հիշողության հատկանիշ: Թվում է, թե այն պատշաճ կերպով լրացնում է մյուս մոդելները:
Արդյունքների մեծ մասը գրեթե 1,0 է: Արդյո՞ք դա ստանդարտ մոդել է, որը գրեթե հիմնված է կերպարների վրա: Ի վերջո, ես ուզում եմ փորձել MeCab մոդելը:
・ BERT-ի անհատականությունը հայտնի չէ SHAP-ում: Անդրադառնանք ուշադրությունից կանխատեսված հետևյալ հոդվածին:
ԲԵՌՏ-ի ապակառուցում. 100 միլիոն պարամետրից 6 նախշերի թորում
Https://towardsdatascience.com/deconstructing-bert-distilling-6-patterns-from-100 -million-parameters-b49113672f77
Https://towardsdatascience.com/deconstructing-bert-part-2-visualizing-the-inner-workings-of-attention-60a16d86b5c1

f.png

・ Երբ կատարվեց համապարփակ դատողություն՝ օգտագործելով BERT-ը որպես կոմերցիոն AI-ի փոխարինող, գնահատման տվյալների մեջ (բացառությամբ 3, 4-ի (4, 5-ը նկարում, որը պետք է տեղադրվեր ճիշտ լուծման մեջ) պայմաններով) այն դարձավ իդեալական վիճակ։ թեկնածու լինել։

Բազմազանության գնահատման մեթոդը կարող է ավելի լավ արդյունքներ տալ, քան BERT-ը, նույնիսկ ներկայիս պարզ մեթոդով:

Այս գնահատման տվյալների հավաքածուով հետագա գնահատում հնարավոր չէ: Արդյո՞ք մենք պետք է վերանայենք ուսուցիչների տվյալները և նորից ստեղծենք գնահատման տվյալների հավաքածու: (Քանի որ դուք չեք կարող պատրաստել ստանդարտ տվյալների հավաքածու, քանի որ դա մոդելի անհատականության կողմնակալ խնդիր է:) (Դա լավ է գնահատման տվյալների համար, բայց ոչ իրական տվյալների համար: Ի դեպ, թեև դա մոտ 5 ամիս է, նման իրավիճակը չի երեւում (խոստովանում եմ, որ դեղագործական համակարգում դժվար է նման արտոնագիր կիրառել ռազմավարական առումով:))
* Սա մուտքային տվյալներից աղբի նվազագույն հեռացումն է։ Ես չեմ կարող վախենալ և հեշտ լինել, օրինակ՝ հեռացնելով կանգառ բառերը…
* Մշակման արագությունն ավելի արագ էր, իսկ հիշողության ծանրաբեռնվածությունը՝ սպասվածից ավելի թեթև: Իրականացնենք այն. Անհատականության, բազմազանության գնահատման այս մեթոդի լավ բանն է, որ դուք կարող եք ուտել ամեն ինչ և բարելավել կատարողականությունը:

Հետգրություն.
・ Ինձ ասացին, որ պետք է անվանեմ այս բազմազանությունը գնահատելու մեթոդը: Ես այն անվանել եմ «Thaïs»:

Նմանատիպ ուսումնասիրություններ.

Գտնելուն պես ավելացրու: