KDB + דאַטאַבייס: פֿון פינאַנצן צו פאָרמולע 1

KDB +, פירמע פּראָדוקט KX איז אַ וויידלי באַוווסט אין שמאָל קרייזן, גאָר שנעל, קאָלומנער דאַטאַבייס דיזיינד פֿאַר סטאָרינג צייט סעריע און אַנאַליטיקאַל חשבונות באזירט אויף זיי. טכילעס, עס איז (און איז) זייער פאָלקס אין די פינאַנציעל אינדוסטריע - אַלע שפּיץ 10 ינוועסמאַנט באַנקס און פילע געזונט-באקאנט רעדנ מיט אַ האַלבנ מויל געלט, יקסטשיינדזשיז און אנדערע אָרגאַנאַזיישאַנז נוצן עס. לעצטנס, KX באַשלאָסן צו יקספּאַנד זיין קונה באַזע און איצט פאָרשלאָגן סאַלושאַנז אין אנדערע געביטן ווו עס איז אַ גרויס סומע פון ​​דאַטן, אָרגאַניזירט דורך צייט אָדער אַנדערש - טעלעקאָם, ביאָינפאָרמאַטיקס, מאַנופאַקטורינג, עטק. זיי אויך געווארן אַ שוטעף פון די אַסטאָן מארטין רעד בולל ראַסינג מאַנשאַפֿט אין פאָרמולאַ 1, ווו זיי העלפֿן צו זאַמלען און פּראַסעסינג דאַטן פון מאַשין סענסאָרס און אַנאַלייז ווינט טונעל טעסץ. אין דעם אַרטיקל, איך ווילן צו זאָגן איר וואָס פֿעיִקייטן פון KDB + מאַכן עס סופּער-פּערפאָרמינג, וואָס קאָמפּאַניעס זענען גרייט צו פאַרברענגען אַ פּלאַץ פון געלט אויף עס, און לעסאָף וואָס עס איז נישט טאַקע אַ דאַטאַבייס.
 

 
אין דעם אַרטיקל איך וועל פּרובירן צו זאָגן איר אין אַלגעמיין וואָס KDB + איז, וואָס קייפּאַבילאַטיז און לימיטיישאַנז עס האט און וואָס די בענעפיץ זענען פֿאַר קאָמפּאַניעס וואָס ווילן צו פּראַסעסינג גרויס אַמאַונץ פון דאַטן. איך וועל נישט אריינגיין אין די דעטאלן פון די איינפירונג פון KDB+ אדער די דעטאלן פון איר Q פראגראמינג שפראך ביידע די טעמעס זענען זייער ברייט און פארדינט באזונדערע ארטיקלען. א פּלאַץ פון אינפֿאָרמאַציע וועגן די טעמעס קענען זיין געפֿונען ביי code.kx.com, אַרייַנגערעכנט אַ בוך אויף Q - Q For Mortals (זען לינק אונטן).

עטלעכע טערמינען

• אין-זיקאָרן דאַטאַבייס. א דאַטאַבייס וואָס סטאָרז דאַטן אין באַראַן פֿאַר פאַסטער אַקסעס. די אַדוואַנטידזשיז פון אַזאַ אַ דאַטאַבייס זענען קלאָר, אָבער די דיסאַדוואַנטידזשיז זענען די מעגלעכקייט פון דאַטן אָנווער און די נויט צו האָבן אַ פּלאַץ פון זכּרון אויף די סערווער.
• זייַל דאַטאַבייס. א דאַטאַבייס ווו דאַטן זענען סטאָרד זייַל דורך זייַל אלא ווי רעקאָרד דורך רעקאָרד. דער הויפּט מייַלע פון ​​אַזאַ אַ דאַטאַבייס איז אַז דאַטן פון איין זייַל זענען סטאָרד צוזאַמען אויף דיסק און אין זכּרון, וואָס באטייטיק ספּידז די אַקסעס צו עס. עס איז ניט דאַרפֿן צו מאַסע שפאלטן וואָס זענען נישט געניצט אין די אָנפֿרעג. דער הויפּט כיסאָרן איז אַז עס איז שווער צו מאָדיפיצירן און ויסמעקן רעקאָרדס.
• צייט סעריע. דאַטע מיט אַ דאַטע אָדער צייט זייַל. טיפּיקאַללי, צייט אָרדערינג איז וויכטיק פֿאַר אַזאַ דאַטן, אַזוי איר קענען לייכט באַשליסן וואָס רעקאָרד פּריסידז אָדער גייט נאָך די קראַנט, אָדער צו צולייגן פאַנגקשאַנז וועמענס רעזולטאַטן אָפענגען אויף די סדר פון די רעקאָרדס. קלאַסיש דאַטאַבייסיז זענען געבויט אויף אַ גאָר אַנדערש פּרינציפּ - רעפּריזענטינג אַ זאַמלונג פון רעקאָרדס ווי אַ גאַנג, ווו די סדר פון די רעקאָרדס איז, אין פּרינציפּ, נישט דיפיינד.
• וועקטאָר. אין דעם קאָנטעקסט פון KDB+, דאָס איז אַ רשימה פון עלעמענטן פון דער זעלביקער אַטאָמישע טיפּ, למשל, נומערן. אין אנדערע ווערטער, אַ קייט פון עלעמענטן. אַררייַס, ניט ענלעך רשימות, קענען זיין סטאָרד קאָמפּאַקטלי און פּראַסעסט מיט וועקטאָר פּראַסעסער אינסטרוקציעס.

 

היסטאָריש אינפֿאָרמאַציע

KX איז געגרינדעט אין 1993 דורך Arthur Whitney, וועלכער האָט פריער געארבעט אין Morgan Stanley Bank אויף דער A+ שפּראַך, דער סאַקסעסער פון APL - אַ זייער אָריגינעל און אַמאָל פאָלקס שפּראַך אין די פינאַנציעל וועלט. פון קורס, אין KX, אַרטהור פארבליבן אין דער זעלביקער גייסט און באשאפן די וועקטאָר-פאַנגקשאַנאַל שפּראַך ק, גיידיד דורך די געדאנקען פון ראַדיקאַל מינאַמאַליזאַם. ק מגילה קוקן אויס ווי אַ צעמישעניש פון פּונקטואַציע און ספּעציעלע אותיות, די טייַטש פון וואונדער און פאַנגקשאַנז דעפּענדס אויף דעם קאָנטעקסט, און יעדער אָפּעראַציע טראגט פיל מער טייַטש ווי אין קאַנווענשאַנאַל פּראָגראַממינג שפּראַכן. רעכט צו דעם, אַ K פּראָגראַם נעמט מינימאַל פּלאַץ - עטלעכע שורות קענען פאַרבייַטן בלעטער פון טעקסט אין אַ ווערבאָוס שפּראַך ווי Java - און איז אַ סופּער-קאַנסאַנטרייטאַד ימפּלאַמענטיישאַן פון די אַלגערידאַם.
 
א פֿונקציע אין ק וואָס ימפּלאַמאַנץ רובֿ פון די LL1 פּאַרסער גענעראַטאָר לויט אַ געגעבן גראַמאַטיק:

1. pp:{q:{(x;p3(),y)};r:$[-11=@x;$x;11=@x;q[`N;$*x];10=abs@@x;q[`N;x]  
2.   ($)~*x;(`P;p3 x 1);(1=#x)&11=@*x;pp[{(1#x;$[2=#x;;,:]1_x)}@*x]  
3.      (?)~*x;(`Q;pp[x 1]);(*)~*x;(`M;pp[x 1]);(+)~*x;(`MP;pp[x 1]);(!)~*x;(`Y;p3 x 1)  
4.      (2=#x)&(@x 1)in 100 101 107 7 -7h;($[(@x 1)in 100 101 107h;`Ff;`Fi];p3 x 1;pp[*x])  
5.      (|)~*x;`S,(pp'1_x);2=#x;`C,{@[@[x;-1+#x;{x,")"}];0;"(",]}({$[".s.C"~4#x;6_-2_x;x]}'pp'x);'`pp];  
6.   $[@r;r;($[1<#r;".s.";""],$*r),$[1<#r;"[",(";"/:1_r),"]";""]]}  

 אַרטהור ימבאַדיד דעם פילאָסאָפיע פון ​​עקסטרעם עפעקטיווקייַט מיט אַ מינימום פון גוף מווומאַנץ אין KDB+, וואָס איז ארויס אין 2003 (איך טראַכטן עס איז איצט קלאָר ווו דער בריוו ק אין דעם נאָמען קומט פון) און איז גאָרנישט מער ווי אַן יבערזעצער פון דער פערט ווערסיע פון ​​​​די K. א מער באַניצער-פרייַנדלעך ווערסיע איז צוגעגעבן אויף שפּיץ פון K K גערופֿן Q. Q אויך צוגעגעבן שטיצן פֿאַר אַ ספּעציפיש דיאַלעקט פון SQL - QSQL, און דער יבערזעצער - שטיצן פֿאַר טישן ווי אַ סיסטעם דאַטן טיפּ, מכשירים פֿאַר ארבעטן מיט טישן אין זכּרון און אויף דיסק וכו'.
 
אַזוי פֿון אַ באַניצער 'ס פּערספּעקטיוו, KDB + איז פשוט אַ Q שפּראַך יבערזעצער מיט שטיצן פֿאַר טישן און SQL-ווי LINQ-נוסח אויסדרוקן פֿון C #. דאָס איז די מערסט וויכטיק חילוק צווישן KDB + און אנדערע דאַטאַבייסיז און זיין הויפּט קאַמפּעטיטיוו מייַלע, וואָס איז אָפט אָוווערלוקט. דאָס איז נישט אַ דאַטאַבייס + פאַרקריפּלט אַגזיליערי שפּראַך, אָבער אַ פול-פלעדזשד שטאַרק פּראָגראַממינג שפּראַך + געבויט-אין שטיצן פֿאַר דייטאַבייס פאַנגקשאַנז. דער דיסטינגקשאַן וועט שפּילן אַ באַשטימענדיק ראָלע אין ליסטינג אַלע די בענעפיץ פון KDB +. למשל...
 

גרייס

לויט מאָדערן סטאַנדאַרדס, KDB + איז פשוט מיקראָסקאָפּיק אין גרייס. עס איז ממש איין סאַב-מעגאַביטע עקסעקוטאַבלע טעקע און איין קליין טעקסט טעקע מיט עטלעכע סיסטעם פאַנגקשאַנז. אין פאַקט - ווייניקער ווי איין מעגאבייט, און פֿאַר דעם פּראָגראַם קאָמפּאַניעס באַצאָלן טענס פון טויזנטער פון דאָללאַרס אַ יאָר פֿאַר איין פּראַסעסער אויף די סערווער.

• די גרייס אַלאַוז KDB + צו פילן גרויס אויף קיין ייַזנוואַרג - פֿון אַ Pi מיקראָקאָמפּוטער צו סערווערס מיט טעראַביטעס פון זכּרון. דאָס קען נישט ווירקן די פאַנגקשאַנאַליטי אין קיין וועג; דערצו, Q סטאַרץ גלייך, וואָס אַלאַוז עס צו זיין געוויינט, צווישן אנדערע, ווי אַ סקריפּטינג שפּראַך.
• אין דעם גרייס, די Q יבערזעצער פיץ גאָר אין די פּראַסעסער קאַש, וואָס ספּידז די דורכפירונג פון די פּראָגראַם.
• מיט דעם גרייס פון דער עקסעקוטאַבלע טעקע, די Q פּראָצעס נעמט נעגלאַדזשאַבאַל פּלאַץ אין זכּרון; איר קענען לויפן הונדערטער פון זיי. דערצו, אויב נייטיק, Q קענען אַרבעטן מיט טענס אָדער הונדערטער פון גיגאבייט פון זכּרון אין אַ איין פּראָצעס.

Универсальность

ק איז גרויס פֿאַר אַ ברייט קייט פון אַפּלאַקיישאַנז. פּראָצעס ק קענען שפּילן ווי אַ היסטארישע דאַטאַבייס און צושטעלן שנעל אַקסעס צו טעראַביטעס פון אינפֿאָרמאַציע. פֿאַר בייַשפּיל, מיר האָבן דאַזאַנז פון היסטארישע דאַטאַבייסיז, אין עטלעכע פון ​​וואָס איין ונקאָמפּרעססעד טאָג פון דאַטן נעמט מער ווי 100 גיגאבייט. אָבער, אונטער גלייַך ריסטריקשאַנז, אַ אָנפֿרעג צו די דאַטאַבייס וועט זיין געענדיקט אין טענס צו הונדערטער פון מיליסעקאַנדז. אין אַלגעמיין, מיר האָבן אַ וניווערסאַל טיימאַוט פֿאַר באַניצער ריקוועס - 30 סעקונדעס - און עס אַרבעט זייער ראַרעלי.
 
Q קען פּונקט ווי לייכט זיין אַן אין-זיקאָרן דאַטאַבייס. ניו דאַטן זענען מוסיף צו אין-זיקאָרן טישן אַזוי געשווינד אַז באַניצער ריקוועס זענען די לימאַטינג פאַקטאָר. דאַטן אין טישן זענען סטאָרד אין שפאלטן, וואָס מיטל אַז קיין אָפּעראַציע אויף אַ זייַל וועט נוצן די פּראַסעסער קאַש אין פול קאַפּאַציטעט. אין אַדישאַן צו דעם, KX געפרוווט צו ינסטרומענט אַלע יקערדיק אַפּעריישאַנז אַזאַ ווי אַריטמעטיק דורך וועקטאָר אינסטרוקציעס פון די פּראַסעסער, מאַקסאַמייזינג זייער גיכקייַט. ק קענען אויך דורכפירן טאַסקס וואָס זענען נישט טיפּיש פֿאַר דאַטאַבייסיז - למשל, פּראָצעס סטרימינג דאַטן און רעכענען אין "פאַקטיש צייט" (מיט אַ פאַרהאַלטן פון טענס פון מיליסעקאַנדז צו עטלעכע סעקונדעס דיפּענדינג אויף די אַרבעט) פאַרשידן אַגגרעגאַטיאָן פאַנגקשאַנז פֿאַר פינאַנציעל ינסטראַמאַנץ פֿאַר פאַרשידענע צייט ינטערוואַלז אָדער בויען אַ מאָדעל פון דער השפּעה פון שליימעסדיק טראַנזאַקשאַנז צו די מאַרק און דורכפירן זייַן פּראָפילינג כּמעט תיכף נאָך זייַן קאַמפּלישאַן. אין אַזאַ טאַסקס, רובֿ אָפט די הויפּט צייט פאַרהאַלטן איז נישט ק, אָבער די נויט צו סינגקראַנייז דאַטן פֿון פאַרשידענע קוואלן. הויך גיכקייַט איז אַטשיווד רעכט צו דעם פאַקט אַז די דאַטן און די פאַנגקשאַנז וואָס פּראָצעס זיי זענען אין איין פּראָצעס, און פּראַסעסינג איז רידוסט צו עקסאַקיוטינג עטלעכע QSQL אויסדרוקן און דזשוינץ, וואָס זענען נישט ינטערפּראַטאַד, אָבער זענען עקסאַקיוטאַד דורך ביינערי קאָד.
 
צום סוף, איר קענען שרייַבן קיין סערוויס פּראַסעסאַז אין Q. פֿאַר בייַשפּיל, גאַטעווייַ פּראַסעסאַז אַז אויטאָמאַטיש פאַרשפּרייטן באַניצער ריקוועס צו די נייטיק דאַטאַבייסיז און סערווערס. דער פּראָגראַמיסט האט גאַנץ פרייהייט צו ינסטרומענט קיין אַלגערידאַם פֿאַר באַלאַנסינג, פּרייאָראַטייזיישאַן, שולד טאָלעראַנץ, אַקסעס רעכט, קוואָטאַס און בייסיקלי אַלץ וואָס זיין האַרץ וויל. דער הויפּט פּראָבלעם דאָ איז אַז איר וועט האָבן צו ינסטרומענט אַלע דעם זיך.
 
ווי אַ בייַשפּיל, איך וועל רשימה וואָס טייפּס פון פּראַסעסאַז מיר האָבן. אַלע פון ​​זיי זענען אַקטיוולי געוויינט און אַרבעט צוזאַמען, קאַמביינינג דאַזאַנז פון פאַרשידענע דאַטאַבייסיז אין איין, פּראַסעסינג דאַטן פון קייפל קוואלן און דינען הונדערטער פון ניצערס און אַפּלאַקיישאַנז.

• קאַנעקטערז (פעעדהאַנדלער) צו דאַטן קוואלן. די פּראַסעסאַז טיפּיקלי נוצן פונדרויסנדיק לייברעריז וואָס זענען לאָודיד אין Q. די C צובינד אין Q איז גאָר פּשוט און אַלאַוז איר צו לייכט שאַפֿן פראקסי פאַנגקשאַנז פֿאַר קיין C/C++ ביבליאָטעק. ק איז שנעל גענוג צו שעפּן, למשל, פּראַסעסינג אַ מבול פון FIX אַרטיקלען פון אַלע אייראפעישע לאַגער יקסטשיינדזשיז סיימאַלטייניאַסלי.
• דאַטאַ דיסטריביאַטערז (טיקערפּלאַנט), וואָס דינען ווי אַ ינטערמידייט פֿאַרבינדונג צווישן קאַנעקטערז און קאָנסומערס. אין דער זעלביקער צייט, זיי שרייַבן ינקאַמינג דאַטן צו אַ ספּעציעל ביינערי קלאָץ, פּראַוויידינג ראָובאַסטנאַס פֿאַר קאָנסומערס קעגן קשר לאָססעס אָדער ריסטאַרט.
• אין-זיקאָרן דאַטאַבייס (רדב). די דאַטאַבייסיז צושטעלן די פאַסטאַסט מעגלעך אַקסעס צו רוי, פריש דאַטן דורך סטאָרינג עס אין זכּרון. טיפּיקאַללי, זיי אָנקלייַבן דאַטן אין טישן בעשאַס דעם טאָג און באַשטעטיק זיי בייַ נאַכט.
• אָנהאַלטן דאַטאַבייס (פּדב). די דאַטאַבייסיז ענשור אַז דאַטן פֿאַר הייַנט זענען סטאָרד אין אַ היסטארישן דאַטאַבייס. ווי אַ הערשן, ניט ענלעך rdb, זיי טאָן ניט קראָם דאַטן אין זכּרון, אָבער נוצן אַ ספּעציעל קאַש אויף דיסק בעשאַס דעם טאָג און נאָכמאַכן די דאַטן ביי האַלבנאַכט צו די היסטארישע דאַטאַבייס.
• היסטאָריש דאַטאַבייסיז (הדב). די דאַטאַבייסיז צושטעלן אַקסעס צו דאַטן פֿאַר פריערדיקע טעג, חדשים און יאָרן. זייער גרייס (אין טעג) איז לימיטעד בלויז דורך די גרייס פון די שווער דרייווז. דאַטן קענען זיין ליגן ערגעץ, ספּעציעל אויף פאַרשידענע דיסקס צו פאַרגיכערן אַקסעס. עס איז מעגלעך צו קאָמפּרעס דאַטן מיט עטלעכע אַלגערידאַמז צו קלייַבן פון. די סטרוקטור פון די דאַטאַבייס איז גוט דאַקיומענטאַד און פּשוט, די דאַטן זענען סטאָרד זייַל דורך זייַל אין רעגולער טעקעס, אַזוי זיי קענען זיין פּראַסעסט, אַרייַנגערעכנט דורך די אָפּערייטינג סיסטעם.
• דאַטאַבייסיז מיט אַגגרעגאַטעד אינפֿאָרמאַציע. זיי קראָם פאַרשידן אַגגרעגאַטיאָנס, יוזשאַוואַלי מיט, גרופּט דורך קיילע נאָמען און צייט מעהאַלעך. אין-זיקאָרן דאַטאַבייסיז דערהייַנטיקן זייער שטאַט מיט יעדער ינקאַמינג אָנזאָג, און היסטארישע דאַטאַבייסיז קראָם פאַר-קאָמפּיוטיד דאַטן צו פאַרגיכערן אַקסעס צו היסטארישע דאַטן.
• לעסאָף גייטוויי פּראַסעסאַזסערוויס אַפּלאַקיישאַנז און ניצערס. ק אַלאַוז איר צו ינסטרומענט גאָר ייסינגקראַנאַס פּראַסעסינג פון ינקאַמינג אַרטיקלען, דיסטריביוטינג זיי איבער דאַטאַבייסיז, קאָנטראָלירן אַקסעס רעכט, עטק. באַמערקונג אַז אַרטיקלען זענען נישט לימיטעד און רובֿ אָפט זענען נישט סקל אויסדרוקן, ווי איז דער פאַל אין אנדערע דאַטאַבייסיז. רובֿ אָפט, די SQL אויסדרוק איז פאַרבאָרגן אין אַ ספּעציעל פֿונקציע און איז קאַנסטראַקטאַד באזירט אויף די פּאַראַמעטערס געבעטן דורך די באַניצער - די צייט איז קאָנווערטעד, פילטערד, די דאַטן נאָרמאַלייזד (למשל, די לאַגער פּרייַז איז יקוואַלייזד אויב דיווידענדז זענען באַצאָלט), אאז"ו ו.

טיפּיש אַרקאַטעקטשער פֿאַר איין דאַטן טיפּ:

גיכקייַט

כאָטש ק איז אַן ינטערפּראַטאַד שפּראַך, עס איז אויך אַ וועקטאָר שפּראַך. דעם מיטל אַז פילע געבויט-אין פאַנגקשאַנז, דער הויפּט אַריטמעטיק אָנעס, נעמען אַרגומענטן פון קיין פאָרעם - נומערן, וועקטאָרס, מאַטריסיז, רשימות - און דער פּראָגראַמיסט איז געריכט צו ינסטרומענט די פּראָגראַם ווי מענגע אַפּעריישאַנז. אין אַזאַ אַ שפּראַך, אויב איר לייגן צוויי וועקטאָרס פון אַ מיליאָן עלעמענטן, עס איז ניט מער וויכטיק אַז די שפּראַך איז ינטערפּראַטאַד; די אַדישאַן וועט זיין דורכגעקאָכט דורך אַ סופּער אָפּטימיזעד ביינערי פֿונקציע. זינט די לייב ס טיילן פון די צייט אין Q מגילה איז פארבראכט אויף אַפּעריישאַנז מיט טישן וואָס נוצן די יקערדיק וועקטאָריזעד פאַנגקשאַנז, דער רעזולטאַט איז אַ זייער לייַטיש אַפּערייטינג גיכקייַט, אַלאַוינג אונדז צו פּראָצעס אַ ריזיק סומע פון ​​​​דאַטן אפילו אין איין פּראָצעס. דאָס איז ענלעך צו מאַטאַמאַטיקאַל לייברעריז אין פּיטהאָן - כאָטש פּיטהאָן זיך איז אַ זייער פּאַמעלעך שפּראַך, עס האט פילע ויסגעצייכנט לייברעריז ווי נאַמפּי וואָס לאָזן איר צו פּראָצעס נומעריקאַל דאַטן מיט די גיכקייַט פון אַ צונויפגעשטעלט שפּראַך (אגב, נאַמפּי איז יידיאַקאַלי נאָענט צו ק. ).
 
אין אַדישאַן, KX גענומען אַ זייער אָפּגעהיט צוגאַנג צו דיזיינינג טישן און אָפּטימיזינג אַרבעט מיט זיי. פירסטלי, עטלעכע טייפּס פון ינדעקסיז זענען געשטיצט, וואָס זענען געשטיצט דורך געבויט-אין פאַנגקשאַנז און קענען זיין געווענדט ניט בלויז צו טיש שפאלטן, אָבער אויך אויף קיין וועקטאָרס - גרופּינג, סאָרטינג, אייגנארטיקייט אַטריביוט און ספּעציעל גרופּינג פֿאַר היסטארישע דאַטאַבייסיז. דער אינדעקס איז סימפּלי געווענדט און איז אויטאָמאַטיש אַדזשאַסטיד ווען אַדינג עלעמענטן צו די זייַל / וועקטאָר. ינדעקסיז קענען זיין געווענדט גלייַך צו טיש שפאלטן אין זכּרון און אויף דיסק. ווען עקסאַקיוטינג אַ QSQL אָנפֿרעג, ינדעקסיז זענען געוויינט אויטאָמאַטיש אויב מעגלעך. צווייטנס, אַרבעט מיט היסטארישע דאַטן איז דורכגעקאָכט דורך די מעקאַניזאַם פֿאַר ווייַז פון אַס טעקעס (זיקאָרן מאַפּע). גרויס טישן זענען קיינמאָל לאָודיד אין זכּרון; אַנשטאָט, די נייטיק שפאלטן זענען מאַפּט גלייַך אין זכּרון און בלויז דער טייל פון זיי איז אַקטשאַוואַלי לאָודיד (אינדעקסיז אויך העלפן דאָ) וואָס זענען דארף. עס מאכט קיין חילוק צו די פּראָגראַמיסט צי די דאַטן זענען אין זיקאָרן אָדער נישט; די מעקאַניזאַם פֿאַר ארבעטן מיט mmap איז גאָר פאַרבאָרגן אין די טיפענישן פון ק.
 
KDB + איז נישט אַ ריליישאַנאַל דאַטאַבייס; טישן קענען אַנטהאַלטן אַרביטראַריש דאַטן, בשעת די סדר פון ראָוז אין די טיש טוט נישט טוישן ווען נייַע עלעמענטן זענען מוסיף און קענען און זאָל זיין געוויינט ווען שרייבן קוויריז. דער שטריך איז ערדזשאַנטלי דארף פֿאַר ארבעטן מיט צייט סעריע (דאַטן פון יקסטשיינדזשיז, טעלעמעטרי, געשעעניש לאָגס), ווייַל אויב די דאַטן זענען אויסגעשטעלט דורך צייט, דער באַניצער דאַרף נישט נוצן קיין SQL טריקס צו געפֿינען די ערשטער אָדער לעצטע רודערן אָדער N. ראָוז אין די טיש , באַשטימען וואָס שורה גייט די נט שורה, אאז"ו ו. טאַבלע דזשוינץ זענען סימפּלאַפייד נאָך מער, למשל, צו געפֿינען די לעצטע ציטירן פֿאַר 16000 VOD.L (Vodafone) טראַנזאַקשאַנז אין אַ טיש פון 500 מיליאָן עלעמענטן נעמט וועגן אַ סעקונדע אויף דיסק און טענס פון מיליסעקאַנדז אין זכּרון.
 
אַ ביישפּיל פון אַ צייט פאַרבינדן - די ציטירן טיש איז מאַפּט צו זכּרון, אַזוי עס איז ניט דאַרפֿן צו ספּעציפיצירן VOD.L אין ווו דער אינדעקס אויף די סימ זייַל און די פאַקט אַז די דאַטן זענען אויסגעשטעלט דורך צייט זענען ימפּליסאַטלי געניצט. כּמעט אַלע דזשוינץ אין ק זענען רעגולער פאַנגקשאַנז, נישט טייל פון אַ אויסקלייַבן אויסדרוק:

1. aj[`sym`time;select from trade where date=2019.03.26, sym=`VOD.L;select from quote where date=2019.03.26]  

צום סוף, עס איז כדאי צו באמערקן אַז די ענדזשאַנירז ביי KX, סטאַרטינג מיט Arthur Whitney זיך, זענען באמת אַבסעסט מיט עפעקטיווקייַט און גיין צו גרויס לענגטס צו באַקומען די מערסט אויס פון די Q ס נאָרמאַל פֿעיִקייטן און אַפּטאַמייז די מערסט פּראָסט באַניץ פּאַטערנז.
 

גאַנץ

KDB + איז פאָלקס צווישן געשעפטן בפֿרט רעכט צו זיין יקסעפּשאַנאַל ווערסאַטילאַטי - עס סערוועס גלייך ווי אַ אין-זיקאָרן דאַטאַבייס, ווי אַ דאַטאַבייס פֿאַר סטאָרינג טעראַביטעס פון היסטארישע דאַטן, און ווי אַ פּלאַטפאָרמע פֿאַר דאַטן אַנאַליסיס. רעכט צו דעם פאַקט אַז דאַטן פּראַסעסינג אַקערז גלייַך אין די דאַטאַבייס, הויך גיכקייַט פון אַרבעט און מיטל סייווינגז זענען אַטשיווד. א פול-פלעדזשד פּראָגראַממינג שפּראַך ינאַגרייטיד מיט דאַטאַבייס פאַנגקשאַנז אַלאַוז איר צו ינסטרומענט די גאנצע אָנלייגן פון נייטיק פּראַסעסאַז אויף איין פּלאַטפאָרמע - פֿון ריסיווינג דאַטן צו פּראַסעסינג באַניצער ריקוועס.
 

נאָך אינפֿאָרמאַציע

לימיטיישאַנז

א באַטייַטיק כיסאָרן פון KDB + / Q איז די הויך פּאָזיציע שוועל. די שפּראַך האט אַ מאָדנע סינטאַקס, עטלעכע פאַנגקשאַנז זענען שווער אָוווערלאָודיד (ווערט, למשל, האט וועגן 11 נוצן קאַסעס). רובֿ ימפּאָרטאַנטלי, עס ריקווייערז אַ ראַדיקאַלי אַנדערש צוגאַנג צו שרייבן מגילה. אין אַ וועקטאָר שפּראַך, איר מוזן שטענדיק טראַכטן אין טערמינען פון מענגע טראַנספאָרמאַציע, ינסטרומענט אַלע לופּס דורך עטלעכע וועריאַנץ פון די מאַפּע / רעדוצירן פאַנגקשאַנז (וואָס זענען גערופֿן אַדווערבס אין ק), און קיינמאָל פּרובירן צו שפּאָרן געלט דורך ריפּלייסינג וועקטאָר אַפּעריישאַנז מיט אַטאָמישע אָנעס. פֿאַר בייַשפּיל, צו געפֿינען די אינדעקס פון די Nth פּאַסירונג פון אַן עלעמענט אין אַ מענגע, איר זאָל שרייַבן:

1. (where element=vector)[N]  

כאָטש דאָס מיינט טעראַבלי באַטלאָניש דורך C / Java סטאַנדאַרדס (= קריייץ אַ בוליאַן וועקטאָר, ווו קערט די אמת ינדעקסיז פון די עלעמענטן אין עס). אבער דעם נאָוטיישאַן מאכט די טייַטש פון די אויסדרוק מער קלאָר און איר נוצן שנעל וועקטאָר אַפּעריישאַנז אַנשטאָט פון פּאַמעלעך אַטאָמישע אָנעס. דער קאַנסעפּטשואַל חילוק צווישן אַ וועקטאָר שפּראַך און אנדערע איז פאַרגלייַכלעך צו די חילוק צווישן ימפּעראַטיוו און פאַנגקשאַנאַל אַפּראָוטשיז צו פּראָגראַממינג, און איר דאַרפֿן צו זיין צוגעגרייט פֿאַר דעם.
 
עטלעכע יוזערז זענען אויך ומגליקלעך מיט QSQL. די פונט איז אַז עס נאָר קוקט ווי פאַקטיש SQL. אין פאַקט, עס איז נאָר אַן יבערזעצער פון SQL-ווי אויסדרוקן וואָס שטיצט נישט אָנפֿרעג אַפּטאַמאַזיישאַן. דער באַניצער מוזן שרייַבן אָפּטימאַל קוויריז זיך, און אין Q, וואָס פילע זענען נישט גרייט פֿאַר. אויף די אנדערע האַנט, פון קורס, איר קענען שטענדיק שרייַבן די אָפּטימאַל אָנפֿרעג זיך, אלא ווי פאַרלאָזנ אויף אַ שוואַרץ קעסטל אָפּטימיזער.
 
ווי אַ פּלוס, אַ בוך אויף Q - Q For Mortals איז בנימצא פֿאַר פריי אין פירמע וועבזייַטל, עס איז אויך אַ פּלאַץ פון אנדערע נוציק מאַטעריאַלס געזאמלט דאָרט.
 
אן אנדער גרויס כיסאָרן איז די פּרייַז פון די דערלויבעניש. אַז ס טענס פון טויזנטער פון דאָללאַרס פּער יאָר פּער קפּו. בלויז גרויס קאָמפּאַניעס קענען פאַרגינענ זיך אַזאַ הוצאות. לעצטנס, KX האט געמאכט זיין לייסאַנסינג פּאָליטיק מער פלעקסאַבאַל און גיט די געלעגנהייט צו צאָלן בלויז פֿאַר די צייט פון נוצן אָדער דינגען KDB+ אין די Google און אַמאַזאָן וואלקנס. KX אָפפערס אויך אראפקאפיע פריי ווערסיע פֿאַר ניט-געשעפט צוועקן (32 ביסל ווערסיע אָדער 64 ביסל אויף בעטן).
 

קאָמפּעטיטאָרס

עס זענען גאַנץ אַ ביסל ספּעשאַלייזד דאַטאַבייסיז געבויט אויף ענלעך פּרינציפּן - קאָלומנער, אין-זיקאָרן, פאָוקיסט אויף זייער גרויס אַמאַונץ פון דאַטן. די פּראָבלעם איז אַז דאָס זענען ספּעשאַלייזד דאַטאַבייסיז. א סטרייקינג בייַשפּיל איז Clickhouse. די דאַטאַבייס האט אַ זייער ענלעך פּרינציפּ צו KDB+ פֿאַר סטאָרינג דאַטן אויף דיסק און בויען אַן אינדעקס; עס פּערפאָרמז עטלעכע פֿראגן פאַסטער ווי KDB+, כאָטש ניט באטייטיק. אָבער אפילו ווי אַ דאַטאַבייס, Clickhouse איז מער ספּעשאַלייזד ווי KDB + - וועב אַנאַליטיקס ווס אַרביטראַריש צייט סעריע (דער חילוק איז זייער וויכטיק - ווייַל פון עס, למשל, אין Clickhouse עס איז ניט מעגלעך צו נוצן די אָרדערינג פון רעקאָרדס). אָבער, רובֿ ימפּאָרטאַנטלי, Clickhouse האט נישט די ווערסאַטילאַטי פון KDB +, אַ שפּראַך וואָס וואָלט לאָזן פּראַסעסינג דאַטן גלייַך אין די דאַטאַבייס, אלא ווי לאָודינג עס ערשטער אין אַ באַזונדער אַפּלאַקיישאַן, בויען אַרביטראַריש סקל אויסדרוקן, אַפּלייינג אַרביטראַריש פאַנגקשאַנז אין אַ אָנפֿרעג, קריייטינג פּראַסעסאַז. ניט שייַכות צו דער דורכפירונג פון היסטארישע דאַטאַבייס פאַנגקשאַנז. דעריבער, עס איז שווער צו פאַרגלייַכן KDB + מיט אנדערע דאַטאַבייסיז; זיי קען זיין בעסער אין זיכער נוצן קאַסעס אָדער פשוט בעסער ווען עס קומט צו קלאַסיש דאַטאַבייס טאַסקס, אָבער איך טאָן ניט וויסן פון אן אנדער גלייַך עפעקטיוו און ווערסאַטאַל געצייַג פֿאַר פּראַסעסינג צייַטווייַליק דאַטן.
 

פּיטהאָן ינאַגריישאַן

צו מאַכן KDB+ גרינגער צו נוצן פֿאַר מענטשן וואָס זענען נישט באַקאַנט מיט די טעכנאָלאָגיע, KX באשאפן לייברעריז צו ויסשטימען טייטלי מיט פּיטהאָן אין אַ איין פּראָצעס. איר קענט רופן קיין Python פונקציע פֿון Q, אָדער וויצע ווערסאַ - רופן קיין Q פונקציע פֿון Python (ספּעציעל QSQL אויסדרוקן). ליבראַריעס גער, אויב נייטיק (ניט שטענדיק פֿאַר די צוליב פון עפעקטיווקייַט), דאַטן פון די פֿאָרמאַט פון איין שפּראַך צו די פֿאָרמאַט פון אנדערן. ווי אַ רעזולטאַט, Q און Python לעבן אין אַזאַ אַ נאָענט סימבייאָוסאַס אַז די באַונדריז צווישן זיי זענען בלערד. ווי אַ רעזולטאַט, דער פּראָגראַמיסט, אויף די איין האַנט, האט פול אַקסעס צו פילע נוציק פּיטהאָן לייברעריז, אויף די אנדערע האַנט, ער באקומט אַ שנעל באַזע פֿאַר ארבעטן מיט גרויס דאַטן ינאַגרייטיד אין פּיטהאָן, וואָס איז ספּעציעל נוציק פֿאַר יענע ינוואַלווד אין מאַשין לערנען. אָדער מאָדעלינג.
 
ארבעטן מיט Q אין Python:

1. >>> q()  
2.q)trade:([]date:();sym:();qty:())  
3. q)  
4. >>> q.insert('trade', (date(2006,10,6), 'IBM', 200))  
5. k(',0')  
6. >>> q.insert('trade', (date(2006,10,6), 'MSFT', 100))  
7. k(',1')  

רעפֿערענצן

דער פּלאַץ פון די פירמע - https://kx.com/
וועבסייט פֿאַר דעוועלאָפּערס - https://code.kx.com/v2/
ספר ק פֿאַר מאָרטאַלז (אין ענגליש) - https://code.kx.com/q4m3/
אַרטיקלען אויף KDB +/Q אַפּלאַקיישאַנז פון kx עמפּלוייז - https://code.kx.com/v2/wp/

מקור: www.habr.com