AMcoder - javascript, python, java, html, php, sql

Spark Cassandra Connector հարցումը բաժանման բանալիով

Ինչը կլինի իդեալական տարբերակ cassandra-ին բաժանման բանալիով հարցումներ անելու համար՝ օգտագործելով Spark Connector: Ես օգտագործում եմ where-ը՝ բանալին անցնելու համար, բայց դա հանգեցնում է նրան, որ cassandra-ն ավելացնում է ALLAOW FILTERING-ը գլխարկի տակ, որն իր հերթին հանգեցնում է ժամանակի ընդհատումների:

ընթացիկ կարգավորում.

csc.cassandraTable[DATA]("schema", "table").where("id =?", "xyz").map(     x=> print(x))

այստեղ id-ը բաժանման (ոչ առաջնային) բանալին է: Ես ունեմ կոմպոզիտային հիմնական բանալի և օգտագործում եմ միայն բաժանման բանալին հարցման համար

Թարմացում. այո, ես բացառություն եմ ստանում հետևյալով.

Cassandra-ի ձախողում ընթերցման հարցման ժամանակ LOCAL_ONE հետևողականությամբ (պահանջվում էր 1 պատասխան, բայց պատասխանում էր ընդամենը 0 կրկնօրինակ, 1-ը՝ ձախողված)

Իմ միջնորմներից ոչ մեկը չունի ավելի քան 1000 գրառում, և ես աշխատում եմ մեկ cassandra հանգույցով

cassandra apache-spark spark-cassandra-connector
23.02.2016

  • Երբ ավելացնում եք allow filtering-ը, բայց հավատարիմ մնաք պրեդիկատներին, որոնք դա չեն պահանջում, դա իրականում որևէ կատարողականության կամ այլ խնդիրներ է առաջացնում: 23.02.2016
  • Ես չգիտեմ, արդյոք sparkSql-ի օգտագործումը ուղղակիորեն հարցում կներկայացնի cassandra val cc = new CassandraSQLCcontext(sc) val rdd. SchemaRDD = cc.sql(SELECT * keyspace.table WHERE ...) 23.02.2016

Պատասխանները:


1

ԹՈՒՅԼ ԶՏՈՒՄԸ չի ազդի ձեր հարցման վրա, եթե օգտագործեք «here» դրույթը ամբողջ բաժանման ստեղնի վրա: Եթե ​​հարցումը սպառվում է, դա կարող է նշանակել, որ ձեր բաժանումը պարզապես շատ մեծ է կամ ամբողջական բաժանման ստեղնը նշված չէ

ԽՄԲԱԳՐԵԼ:

Cassandra failure during read query at consistency LOCAL_ONE (1 responses were required but only 0 replica responded, 1 failed)

Նշանակում է, որ ձեր հարցումներն ուղարկվում են մեքենաներ, որոնք չունեն ձեր փնտրած տվյալների կրկնօրինակը: Սովորաբար դա նշանակում է, որ ստեղնաշարի կրկնօրինակումը ճիշտ չի դրված կամ կապի հոսթինգը սխալ է: LOCAL_ONE-ի LOCAL մասը նշանակում է, որ հարցումը կարող է հաջողվել միայն այն դեպքում, եթե տվյալները հասանելի են LOCAL_DC-ում:

Հաշվի առնելով սա, դուք ունեք 3 տարբերակ

  1. Փոխեք ձեր հարցումների սկզբնական կապի թիրախը
  2. Փոխեք ձեր ստեղնաշարի կրկնօրինակումը
  3. Փոխեք ձեր հարցումների հետևողականության մակարդակը

Քանի որ դուք ունեք ընդամենը 1 մեքենա, ձեր ստեղնաշարի կրկնօրինակումը փոխելը, հավանաբար, ճիշտ է:

24.02.2016
  • Ես ունեմ կոմպոզիտային առաջնային բանալի և օգտագործում եմ միայն բաժանման ստեղնը հարցման համար, և իմ բաժանմունքներից ոչ մեկը չունի ավելի քան 1000 գրառում 25.02.2016
    • Նոր նյութեր
    Օգտագործելով Fetch Vs Axios.Js-ը՝ HTTP հարցումներ կատարելու համար
    JavaScript-ը կարող է ցանցային հարցումներ ուղարկել սերվեր և բեռնել նոր տեղեկատվություն, երբ դա անհրաժեշտ լինի: Օրինակ, մենք կարող ենք օգտագործել ցանցային հարցումը պատվեր ներկայացնելու,..
    Տիրապետել հանգստության արվեստին. մշակողի ուղեցույց՝ ճնշման տակ ծաղկելու համար
    Տիրապետել հանգստության արվեստին. մշակողի ուղեցույց՝ ճնշման տակ ծաղկելու համար Ինչպե՞ս հանգստացնել ձեր միտքը և աշխատեցնել ձեր պրոցեսորը: Ինչպես մնալ հանգիստ և զարգանալ ճնշման տակ...
    Մեքենայի ուսուցում բանկային և ֆինանսների ոլորտում
    Բարդ, խելացի անվտանգության համակարգերը և հաճախորդների սպասարկման պարզեցված ծառայությունները բիզնեսի հաջողության բանալին են: Ֆինանսական հաստատությունները, մասնավորապես, պետք է առաջ մնան կորի..
    Ես AI-ին հարցրի կյանքի իմաստը, այն ինչ ասում էր, ցնցող էր:
    Այն պահից ի վեր, երբ ես իմացա Արհեստական ​​ինտելեկտի մասին, ես հիացած էի այն բանով, թե ինչպես է այն կարողանում հասկանալ մարդկային նորմալ տեքստը, և այն կարող է առաջացնել իր սեփական արձագանքը դրա..
    Ինչպես սովորել կոդավորումը Python-ում վագրի պես:
    Սովորելու համար ծրագրավորման նոր լեզու ընտրելը բարդ է: Անկախ նրանից, թե դուք սկսնակ եք, թե առաջադեմ, դա օգնում է իմանալ, թե ինչ թեմաներ պետք է սովորել: Ծրագրավորման լեզվի հիմունքները, դրա..
    C++-ի օրական բիթ(ե) | Ամենաերկար պալինդրոմային ենթաշարը
    C++ #198-ի ամենօրյա բիթ(ե), Ընդհանուր հարցազրույցի խնդիր. Ամենաերկար պալինդրոմային ենթատող: Այսօր մենք կանդրադառնանք հարցազրույցի ընդհանուր խնդրին. Ամենաերկար palindromic substring...
    Kydavra ICAReducer՝ ձեր տվյալների ծավալայինությունը նվազեցնելու համար
    Ի՞նչ է ICAReducer-ը: ICAReducer-ն աշխատում է հետևյալ կերպ. այն նվազեցնում է նրանց միջև բարձր փոխկապակցված հատկանիշները մինչև մեկ սյունակ: Բավականին նման է PCAreducer-ին, չնայած այն..