В Tarantool можете да комбинирате супер бърза база данни и приложение за работа с тях. Ето колко лесно се прави

Преди пет години се опитах да работя с Tarantool, но тогава не ми се получи. Но наскоро проведох уебинар, на който говорих за Hadoop и как работи MapReduce. Там ми зададоха въпрос: „Защо не използвам Tarantool за тази задача?“

От любопитство реших да се върна към него, да тествам най-новата версия - и този път проектът наистина ми хареса. Сега ще ви покажа как да напишете просто приложение в Tarantool, да го заредите и да проверите производителността му и ще видите колко лесно и готино е всичко.

Какво е Tarantool

Tarantool се позиционира като ултра-бърза база данни. Можете да поставите каквито искате данни там. Плюс това, репликирайте ги, разбийте - т.е. разделете огромно количество данни на няколко сървъра и комбинирайте резултатите от тях - направете толерантни към грешки връзки между главен и главен.

Второ, това е сървър за приложения. Можете да пишете приложенията си върху него, да работите с данни, например да изтривате стари записи във фонов режим според определени правила. Можете да напишете Http сървър директно в Tarantula, който ще работи с данни: издайте тяхното количество, напишете нови данни там и ги сведете до главния.

Четох статия за това как момчетата направиха опашка от съобщения от 300 реда, която просто се пръска и бърза - имат минимална производителност от 20 000 съобщения в секунда. Тук наистина можете да се обърнете и да напишете много голямо приложение и то няма да бъде хранилище, както в PostgreS.

Ще се опитам да опиша нещо като този сървър, само че просто, в тази статия.

Инсталация

За теста стартирах три стандартни виртуални машини - 20 GB твърд диск, Ubuntu 18.04. 2 виртуални процесора и 4 гига памет.

Ние инсталираме Tarantool - стартирайте bash скрипта или добавете хранилище и направете apt get инсталирайте Tarantool. Връзка към скрипт - (curl -L https://tarantool.io/installer.sh | VER=2.4 sudo -E bash). Имаме команди като:

tarantoolctl — основната команда за управление на екземпляри на Tarantula.
/etc/tarantool - тук е цялата конфигурация.
var/log/tarantool - ето ги трупите.
var/lib/tarantool — данните се намират тук и след това се разделят на инстанции.

Има папки instance-available и instance-enable - съдържа това, което ще бъде стартирано - конфигурационен файл на екземпляр с lua код, който описва какви портове слуша, каква памет е достъпна за него, настройки на Vinyl engine, код, който се изпълнява при стартиране сървъри, шардинг, опашки, изтриване на остарели данни и т.н.

Инстансите работят като в PostgreS. Например искате да стартирате няколко копия на база данни, която виси на различни портове. Оказва се, че на един сървър се стартират няколко екземпляра на база данни, които висят на различни портове. Те могат да имат напълно различни настройки - един екземпляр изпълнява една логика, вторият - друга.

Управление на екземпляри

Имаме командата tarantoolctl, която ви позволява да управлявате екземпляри на Tarantula. Например tarantoolctl check example ще провери конфигурационния файл и ще каже - файлът е добре, ако там няма синтактични грешки.

Можете да видите състоянието на инстанцията - пример за състояние на tarantoolctl. По същия начин можете да правите стартиране, спиране, рестартиране.

След като екземплярът стартира, можете да се свържете с него по два начина.

1. Административна конзола

По подразбиране Tarantool отваря сокет, нормален ASCII текст се изпраща там, за да контролира Tarantool. Връзката към конзолата винаги се осъществява под администраторския потребител, няма удостоверяване, така че няма нужда да екстернализирате конзолния порт за управление на Tarantula.

За да се свържете с този метод, трябва да въведете Tarantoolctl въведете име на екземпляр. Командата ще стартира конзолата и ще се свърже като администраторски потребител. Никога не излагайте конзолния порт навън - по-добре го оставете като гнездо за модул. Тогава само тези, които имат достъп да пишат в сокета, ще могат да се свързват с Tarantula.

Този метод е необходим за административни неща. За да работите с данни, използвайте втория метод - двоичния протокол.

2. Използване на двоичен протокол за свързване към определен порт

Конфигурацията съдържа директива за слушане, която отваря порт за външни комуникации. Този порт се използва с двоичния протокол и там е разрешено удостоверяването.

За тази връзка се използва tarantoolctl за свързване с номер на порт. Използвайки го, можете да се свързвате с отдалечени сървъри, да използвате удостоверяване и да давате различни права за достъп.

Модул за запис на данни и кутия

Тъй като Tarantool е едновременно база данни и сървър за приложения, той има различни модули. Интересуваме се от модула box - той реализира работа с данни. Когато пишете нещо в кутия, Tarantool записва данните на диска, съхранява ги в паметта или прави нещо друго с тях.

Рекорд

Например, влизаме в модула box и извикваме функцията box.once. Това ще принуди Tarantool да изпълни нашия код, когато сървърът се инициализира. Ние създаваме пространство, в което ще се съхраняват нашите данни.

local function bootstrap()
    local space = box.schema.create_space('example')
    space:create_index('primary')
    box.schema.user.grant('guest', 'read,write,execute', 'universe')

    -- Keep things safe by default
    --  box.schema.user.create('example', { password = 'secret' })
    --  box.schema.user.grant('example', 'replication')
    --  box.schema.user.grant('example', 'read,write,execute', 'space', 'example')
end

След това създаваме първичен индекс - първичен - по който можем да търсим данни. По подразбиране, ако не укажете никакви параметри, първото поле във всеки запис ще се използва за първичен индекс.

След това правим грант на потребителя гост, при който се свързваме чрез двоичния протокол. Разрешаваме четене, писане и изпълнение в целия екземпляр.

В сравнение с конвенционалните бази данни тук всичко е доста просто. Имаме пространство – област, в която нашите данни просто се съхраняват. Всеки запис се нарича кортеж. Той е опакован в MessagePack. Това е много готин формат - той е двоичен и заема по-малко място - 18 байта срещу 27.

С него е доста удобно да се работи. Почти всеки ред, всеки запис на данни може да има напълно различни колони.

Можем да видим всички пространства с помощта на командата Box.space. За да изберете конкретен екземпляр, напишете box.space example и получете пълна информация за него.

Tarantool има два вградени двигателя: Memory и Vinyl. Паметта съхранява всички данни в паметта. Следователно всичко работи просто и бързо. Данните се изхвърлят на диска и също така има механизъм за запис напред в журнала, така че няма да загубим нищо, ако сървърът се срине.

Vinyl съхранява данни на диска в по-позната за нас форма - тоест можете да съхранявате повече данни, отколкото имаме памет, и Tarantula ще ги прочете от диска.

Засега ще използваме Memory.

unix/:/var/run/tarantool/example.control> box.space.example
---
- engine: memtx
  before_replace: 'function: 0x41eb02c8'
  on_replace: 'function: 0x41eb0568'
  ck_constraint: []
  field_count: 0
  temporary: false
  index:
    0: &0
      unique: true
      parts:
      - type: unsigned
        is_nullable: false
        fieldno: 1
      id: 0
      space_id: 512
      type: TREE
      name: primary
    primary: *0
  is_local: false
  enabled: true
  name: example
  id: 512
...

unix/:/var/run/tarantool/example.control>

индекс:

За всяко пространство трябва да се създаде първичен индекс, защото без него нищо няма да работи. Както във всяка база данни, създаваме първото поле – ID на записа.

Части:

Тук посочваме от какво се състои нашият индекс. Състои се от една част - първото поле, което ще използваме е от тип unsigned - цяло положително число. Доколкото си спомням от документацията, максималният брой, който може да бъде, е 18 квинтилиона. Това е много.

След това можем да вмъкнем данни с помощта на командата за вмъкване.

unix/:/var/run/tarantool/example.control> box.space.example:insert{1, 'test1', 'test2'}
---
- [1, 'test1', 'test2']
...

unix/:/var/run/tarantool/example.control> box.space.example:insert{2, 'test2', 'test3', 'test4'}
---
- [2, 'test2', 'test3', 'test4']
...

unix/:/var/run/tarantool/example.control> box.space.example:insert{3, 'test3'}
---
- [3, 'test3']
...

unix/:/var/run/tarantool/example.control> box.space.example:insert{4, 'test4'}
---
- [4, 'test4']
...

unix/:/var/run/tarantool/example.control>

Първото поле се използва като първичен ключ, така че трябва да е уникално. Не сме ограничени от броя на колоните, така че можем да вмъкнем там колкото желаем данни. Те са посочени във формата MessagePack, който описах по-горе.

Извеждане на данни

След това можем да покажем данните с помощта на командата select.

Box.example.select с клавиша {1} ще покаже желания запис. Ако намалим ключа, ще видим всички записи, които имаме. Всички те се различават по броя на колоните, но тук по принцип няма понятие за колони - има номера на полета.

Може да има абсолютно всякакво количество данни. И например трябва да ги търсим по второто поле. За да направим това, създаваме нов вторичен индекс.

box.space.example:create_index( ‘secondary’, { type = ‘TREE’, unique = false, parts = {{field = 2, type =’string’} }}) 

Използваме командата Create_index.
Нека го наречем Вторичен.

След това трябва да посочите параметрите. Типът индекс е ДЪРВО. Може да не е уникален, затова въведете Unique = false.

След това посочваме от какви части се състои нашият индекс. Field е номерът на полето, към което свързваме индекса, и определяме типа на низа. И така беше създадено.

unix/:/var/run/tarantool/example.control> box.space.example:create_index('secondary', { type = 'TREE', unique = false, parts = {{field = 2, type = 'string'}}})
---
- unique: false
  parts:
  - type: string
    is_nullable: false
    fieldno: 2
  id: 1
  space_id: 512
  type: TREE
  name: secondary
...

unix/:/var/run/tarantool/example.control>

Ето как можем да го наречем:

unix/:/var/run/tarantool/example.control> box.space.example.index.secondary:select('test1')
---
- - [1, 'test1', 'test2']
...

запазване

Ако рестартираме екземпляра и опитаме отново да извикаме данните, ще видим, че ги няма - всичко е празно. Това се случва, защото Tarantool прави контролни точки и записва данните на диска, но ако спрем да работим до следващото записване, ще загубим всички операции - защото ще се възстановим от последната контролна точка, която е била например преди два часа.

Няма да работи и да записвате всяка секунда, защото постоянното изхвърляне на 20 GB на диска не е добра идея.

За тази цел беше изобретена и внедрена концепцията за дневник за предварително записване. С негова помощ за всяка промяна в данните се създава запис в малък лог файл за предварително записване.

Всеки запис до КПП-то се съхранява в тях. За тези файлове задаваме размер - например 64 MB. Когато се напълни, записът започва към втория файл. И след рестартирането Tarantool се възстановява от последната контролна точка и след това преобръща всички следващи транзакции, докато спре.

За да извършите такъв запис, трябва да посочите опцията в настройките на box.cfg (във файла example.lua):

wal_mode = “write”;

използване на данни

С това, което написахме сега, можете да използвате Tarantula за съхранение на данни и тя ще работи много бързо като база данни. И сега черешката на тортата е какво можете да направите с всичко това.

Писане на молба

Например, нека напишем следното приложение за Tarantula

Вижте приложението под спойлера

box.cfg {
    listen = '0.0.0.0:3301';
    io_collect_interval = nil;
    readahead = 16320;
    memtx_memory = 128 * 1024 * 1024; -- 128Mb
    memtx_min_tuple_size = 16;
    memtx_max_tuple_size = 128 * 1024 * 1024; -- 128Mb
    vinyl_memory = 128 * 1024 * 1024; -- 128Mb
    vinyl_cache = 128 * 1024 * 1024; -- 128Mb
    vinyl_max_tuple_size = 128 * 1024 * 1024; -- 128Mb
    vinyl_write_threads = 2;
    wal_mode = "write";
    wal_max_size = 256 * 1024 * 1024;
    checkpoint_interval = 60 * 60; -- one hour
    checkpoint_count = 6;
    force_recovery = true;
    log_level = 5;
    log_nonblock = false;
    too_long_threshold = 0.5;
    read_only   = false
}

local function bootstrap()
    local space = box.schema.create_space('example')
    space:create_index('primary')

    box.schema.user.create('example', { password = 'secret' })
    box.schema.user.grant('example', 'read,write,execute', 'space', 'example')

    box.schema.user.create('repl', { password = 'replication' })
    box.schema.user.grant('repl', 'replication')
end

-- for first run create a space and add set up grants
box.once('replica', bootstrap)

-- enabling console access
console = require('console')
console.listen('127.0.0.1:3302')

-- http config
local charset = {}  do -- [0-9a-zA-Z]
    for c = 48, 57  do table.insert(charset, string.char(c)) end
    for c = 65, 90  do table.insert(charset, string.char(c)) end
    for c = 97, 122 do table.insert(charset, string.char(c)) end
end

local function randomString(length)
    if not length or length <= 0 then return '' end
    math.randomseed(os.clock()^5)
    return randomString(length - 1) .. charset[math.random(1, #charset)]
end

local http_router = require('http.router')
local http_server = require('http.server')
local json = require('json')

local httpd = http_server.new('0.0.0.0', 8080, {
    log_requests = true,
    log_errors = true
})

local router = http_router.new()

local function get_count()
 local cnt = box.space.example:len()
 return cnt
end

router:route({method = 'GET', path = '/count'}, function()
    return {status = 200, body = json.encode({count = get_count()})}
end)

router:route({method = 'GET', path = '/token'}, function()
    local token = randomString(32)
    local last = box.space.example:len()
    box.space.example:insert{ last + 1, token }
    return {status = 200, body = json.encode({token = token})}
end)

prometheus = require('prometheus')

fiber = require('fiber')
tokens_count = prometheus.gauge("tarantool_tokens_count",
                              "API Tokens Count")

function monitor_tokens_count()
  while true do
    tokens_count:set(get_count())
    fiber.sleep(5)
  end
end
fiber.create(monitor_tokens_count)

router:route( { method = 'GET', path = '/metrics' }, prometheus.collect_http)

httpd:set_router(router)
httpd:start()

Ние декларираме някаква таблица в lua, която дефинира знаците. Тази плоча е необходима за генериране на случаен низ.

local charset = {}  do -- [0-9a-zA-Z]
    for c = 48, 57  do table.insert(charset, string.char(c)) end
    for c = 65, 90  do table.insert(charset, string.char(c)) end
    for c = 97, 122 do table.insert(charset, string.char(c)) end
end

След това декларираме функцията - randomString и даваме стойността на дължината в скоби.

local function randomString(length)
    if not length or length <= 0 then return '' end
    math.randomseed(os.clock()^5)
    return randomString(length - 1) .. charset[math.random(1, #charset)]
end

След това свързваме http рутера и http сървъра към нашия Tarantula сървър, JSON, който ще изпратим на клиента.

local http_router = require('http.router')
local http_server = require('http.server')
local json = require('json')

След това започваме на порт 8080 на всички http сървърни интерфейси, които ще регистрират всички заявки и грешки.

local httpd = http_server.new('0.0.0.0', 8080, {
    log_requests = true,
    log_errors = true
})

След това декларираме route, така че ако заявка с метода GET пристигне на порт 8080 /count, тогава извикваме функцията от един ред. Връща статус - 200, 404, 403 или друг, който посочим.

router:route({method = 'GET', path = '/count'}, function()
    return {status = 200, body = json.encode({count = get_count()})}
end)

В тялото връщаме json.encode, в него посочваме count и getcount, което се извиква и показва броя на записите в нашата база данни.

Вторият метод

router:route({method = 'GET', path = '/token'}, function() 
    local token = randomString(32) 
    local last = box.space.example:len() 
    box.space.example:insert{ last + 1, token } 
    return {status = 200, body = json.encode({token = token})}
end)

Къде в реда router:route({method = 'GET', path = '/token'}, function() извикваме функцията и генерираме токен.

ред локален токен = randomString(32) е произволен низ от 32 знака.
В редица local last = box.space.example:len() изваждаме последния елемент.
И в линията box.space.example:insert{ last + 1, token } записваме данните в нашата база данни, тоест просто увеличаваме идентификатора с 1. Това между другото може да стане не само по този тромав начин. Има последователности за това в Tarantula.

Пишем токена там.

Така написахме приложението в един файл. Можете директно да манипулирате данните там, а модулът на кутията ще свърши цялата мръсна работа вместо вас.

Слуша http и работи с данни, всичко е в една инстанция - и приложението, и данните. Следователно всичко се случва доста бързо.

За начало инсталираме http модула:

Как правим това, вижте под спойлера

root@test2:/# tarantoolctl rocks install http
Installing http://rocks.tarantool.org/http-scm-1.src.rock
Missing dependencies for http scm-1:
   checks >= 3.0.1 (not installed)

http scm-1 depends on checks >= 3.0.1 (not installed)
Installing http://rocks.tarantool.org/checks-3.0.1-1.rockspec

Cloning into 'checks'...
remote: Enumerating objects: 28, done.
remote: Counting objects: 100% (28/28), done.
remote: Compressing objects: 100% (19/19), done.
remote: Total 28 (delta 1), reused 16 (delta 1), pack-reused 0
Receiving objects: 100% (28/28), 12.69 KiB | 12.69 MiB/s, done.
Resolving deltas: 100% (1/1), done.
Note: checking out '580388773ef11085015b5a06fe52d61acf16b201'.

You are in 'detached HEAD' state. You can look around, make experimental
changes and commit them, and you can discard any commits you make in this
state without impacting any branches by performing another checkout.

If you want to create a new branch to retain commits you create, you may
do so (now or later) by using -b with the checkout command again. Example:

  git checkout -b <new-branch-name>

No existing manifest. Attempting to rebuild...
checks 3.0.1-1 is now installed in /.rocks (license: BSD)

-- The C compiler identification is GNU 7.5.0
-- Check for working C compiler: /usr/bin/cc
-- Check for working C compiler: /usr/bin/cc -- works
-- Detecting C compiler ABI info
-- Detecting C compiler ABI info - done
-- Detecting C compile features
-- Detecting C compile features - done
-- Found TARANTOOL: /usr/include (found version "2.4.2-80-g18f2bc82d")
-- Tarantool LUADIR is /.rocks/share/tarantool/rocks/http/scm-1/lua
-- Tarantool LIBDIR is /.rocks/share/tarantool/rocks/http/scm-1/lib
-- Configuring done
-- Generating done
CMake Warning:
  Manually-specified variables were not used by the project:

    version


-- Build files have been written to: /tmp/luarocks_http-scm-1-V4P9SM/http/build.luarocks
Scanning dependencies of target httpd
[ 50%] Building C object http/CMakeFiles/httpd.dir/lib.c.o
In file included from /tmp/luarocks_http-scm-1-V4P9SM/http/http/lib.c:32:0:
/tmp/luarocks_http-scm-1-V4P9SM/http/http/lib.c: In function ‘tpl_term’:
/usr/include/tarantool/lauxlib.h:144:15: warning: this statement may fall through [-Wimplicit-fallthrough=]
    (*(B)->p++ = (char)(c)))
    ~~~~~~~~~~~^~~~~~~~~~~~
/tmp/luarocks_http-scm-1-V4P9SM/http/http/lib.c:62:7: note: in expansion of macro ‘luaL_addchar’
       luaL_addchar(b, '\');
       ^~~~~~~~~~~~
/tmp/luarocks_http-scm-1-V4P9SM/http/http/lib.c:63:6: note: here
      default:
      ^~~~~~~
In file included from /tmp/luarocks_http-scm-1-V4P9SM/http/http/lib.c:39:0:
/tmp/luarocks_http-scm-1-V4P9SM/http/http/tpleval.h: In function ‘tpe_parse’:
/tmp/luarocks_http-scm-1-V4P9SM/http/http/tpleval.h:147:9: warning: this statement may fall through [-Wimplicit-fallthrough=]
    type = TPE_TEXT;
    ~~~~~^~~~~~~~~~
/tmp/luarocks_http-scm-1-V4P9SM/http/http/tpleval.h:149:3: note: here
   case TPE_LINECODE:
   ^~~~
In file included from /tmp/luarocks_http-scm-1-V4P9SM/http/http/lib.c:40:0:
/tmp/luarocks_http-scm-1-V4P9SM/http/http/httpfast.h: In function ‘httpfast_parse’:
/tmp/luarocks_http-scm-1-V4P9SM/http/http/httpfast.h:372:22: warning: this statement may fall through [-Wimplicit-fallthrough=]
                 code = 0;
                 ~~~~~^~~
/tmp/luarocks_http-scm-1-V4P9SM/http/http/httpfast.h:374:13: note: here
             case status:
             ^~~~
/tmp/luarocks_http-scm-1-V4P9SM/http/http/httpfast.h:393:23: warning: this statement may fall through [-Wimplicit-fallthrough=]
                 state = message;
                 ~~~~~~^~~~~~~~~
/tmp/luarocks_http-scm-1-V4P9SM/http/http/httpfast.h:395:13: note: here
             case message:
             ^~~~
[100%] Linking C shared library lib.so
[100%] Built target httpd
[100%] Built target httpd
Install the project...
-- Install configuration: "Debug"
-- Installing: /.rocks/share/tarantool/rocks/http/scm-1/lua/http/VERSION.lua
-- Installing: /.rocks/share/tarantool/rocks/http/scm-1/lib/http/lib.so
-- Installing: /.rocks/share/tarantool/rocks/http/scm-1/lua/http/server/init.lua
-- Installing: /.rocks/share/tarantool/rocks/http/scm-1/lua/http/server/tsgi_adapter.lua
-- Installing: /.rocks/share/tarantool/rocks/http/scm-1/lua/http/nginx_server/init.lua
-- Installing: /.rocks/share/tarantool/rocks/http/scm-1/lua/http/router/init.lua
-- Installing: /.rocks/share/tarantool/rocks/http/scm-1/lua/http/router/fs.lua
-- Installing: /.rocks/share/tarantool/rocks/http/scm-1/lua/http/router/matching.lua
-- Installing: /.rocks/share/tarantool/rocks/http/scm-1/lua/http/router/middleware.lua
-- Installing: /.rocks/share/tarantool/rocks/http/scm-1/lua/http/router/request.lua
-- Installing: /.rocks/share/tarantool/rocks/http/scm-1/lua/http/router/response.lua
-- Installing: /.rocks/share/tarantool/rocks/http/scm-1/lua/http/tsgi.lua
-- Installing: /.rocks/share/tarantool/rocks/http/scm-1/lua/http/utils.lua
-- Installing: /.rocks/share/tarantool/rocks/http/scm-1/lua/http/mime_types.lua
-- Installing: /.rocks/share/tarantool/rocks/http/scm-1/lua/http/codes.lua
http scm-1 is now installed in /.rocks (license: BSD)

root@test2:/#

Имаме нужда и от Прометей, за да бягаме:

root@test2:/# tarantoolctl rocks install prometheus
Installing http://rocks.tarantool.org/prometheus-scm-1.rockspec

Cloning into 'prometheus'...
remote: Enumerating objects: 19, done.
remote: Counting objects: 100% (19/19), done.
remote: Compressing objects: 100% (19/19), done.
remote: Total 19 (delta 2), reused 5 (delta 0), pack-reused 0
Receiving objects: 100% (19/19), 10.73 KiB | 10.73 MiB/s, done.
Resolving deltas: 100% (2/2), done.
prometheus scm-1 is now installed in /.rocks (license: BSD)

root@test2:/#

Стартираме и имаме достъп до модулите

root@test2:/# curl -D - -s http://127.0.0.1:8080/token
HTTP/1.1 200 Ok
Content-length: 44
Server: Tarantool http (tarantool v2.4.2-80-g18f2bc82d)
Connection: keep-alive

{"token":"e2tPq9l5Z3QZrewRf6uuoJUl3lJgSLOI"}

root@test2:/# curl -D - -s http://127.0.0.1:8080/token
HTTP/1.1 200 Ok
Content-length: 44
Server: Tarantool http (tarantool v2.4.2-80-g18f2bc82d)
Connection: keep-alive

{"token":"fR5aCA84gj9eZI3gJcV0LEDl9XZAG2Iu"}

root@test2:/# curl -D - -s http://127.0.0.1:8080/count
HTTP/1.1 200 Ok
Content-length: 11
Server: Tarantool http (tarantool v2.4.2-80-g18f2bc82d)
Connection: keep-alive

{"count":2}root@test2:/#

/count ни дава статус 200.
/token издава токен и записва този токен в базата данни.

Скорост на тестване

Нека направим бенчмарк за 50 000 заявки. Ще има 500 конкуриращи се заявки.

root@test2:/# ab -c 500 -n 50000 http://127.0.0.1:8080/token
This is ApacheBench, Version 2.3 <$Revision: 1807734 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 127.0.0.1 (be patient)
Completed 5000 requests
Completed 10000 requests
Completed 15000 requests
Completed 20000 requests
Completed 25000 requests
Completed 30000 requests
Completed 35000 requests
Completed 40000 requests
Completed 45000 requests
Completed 50000 requests
Finished 50000 requests


Server Software:        Tarantool
Server Hostname:        127.0.0.1
Server Port:            8080

Document Path:          /token
Document Length:        44 bytes

Concurrency Level:      500
Time taken for tests:   14.578 seconds
Complete requests:      50000
Failed requests:        0
Total transferred:      7950000 bytes
HTML transferred:       2200000 bytes
Requests per second:    3429.87 [#/sec] (mean)
Time per request:       145.778 [ms] (mean)
Time per request:       0.292 [ms] (mean, across all concurrent requests)
Transfer rate:          532.57 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0   10 103.2      0    3048
Processing:    12   69 685.1     15   13538
Waiting:       12   69 685.1     15   13538
Total:         12   78 768.2     15   14573

Percentage of the requests served within a certain time (ms)
  50%     15
  66%     15
  75%     16
  80%     16
  90%     16
  95%     16
  98%     21
  99%     42
 100%  14573 (longest request)
root@test2:/#

Издават се токени. И ние непрекъснато записваме данни. 99% от заявките са обработени за 42 милисекунди. Съответно имаме около 3500 заявки в секунда на малка машина с 2 ядра и 4 гигабайта памет.

Можете също да изберете някои 50000 XNUMX токена и да видите стойността им.

Можете да използвате не само http, но и да изпълнявате фонови функции, които обработват вашите данни. Освен това има различни задействания. Например, можете да извикате функции за актуализации, да проверите нещо - да коригирате конфликти.

Можете да пишете скриптови приложения директно в самия сървър на база данни и да не сте ограничени от нищо, да свързвате всякакви модули и да прилагате всякаква логика.

Сървърът на приложения може да осъществява достъп до външни сървъри, да извлича данни и да ги добавя към своята база данни. Данните от тази база данни ще бъдат използвани от други приложения.

Tarantula ще направи това сама и няма да се налага да пишете отделно приложение.

В заключение

Това е само първата част от една голяма работа. Вторият ще бъде публикуван съвсем скоро в блога на Mail.ru Group и определено ще добавим връзка към него в този материал.

Ако проявявате интерес да присъствате на събития, където изграждаме тези неща онлайн и да задавате въпроси в реално време, включете се канал DevOps от REBRAIN.

Ако трябва да преминете към облака или имате въпроси относно вашата инфраструктура, не се колебайте да оставите заявка.

PS Имаме 2 безплатни одита на месец, може би вашият проект ще бъде един от тях.

Източник: www.habr.com