ZMQ põhialused Pythonis: lihtsa key/value andmebaasi loomine

Sissejuhatus

Vaatame üle lihtsa key/value andmebaasi näite, näiteks nagu memcache. See on lihtne — andmed salvestatakse mällu hashmap struktuuri. Neile pääseb ligi TCP-soketi kaudu. Pythonis on hashmap tavaline dict. Juurdepääsuks kasutame Zeromq-d.

Seadistamine

Selle paketi installimiseks Debian/Ubuntu-s piisab terminalis järgmise käsu sisestamisest:
sudo apt-get install libzmq-dev
sudo pip install zmq

Kood

Kirjutame klassi, et töötada meiega serveriga:
Kasutatava ZMQ soketi tüüp on REQ (REQuest, päring), saadame päringu — ootame vastust.
Iga andme tüübi salvestamiseks ja edastamiseks võrgus kasutame standardset pickle moodulit. Töö "protokoll" on kolmest väärtusest koosnev tupel: (käsk, võti, andmed)

import zmq
import pickle

class SuperCacher:
    def __init__(self):
        context = zmq.Context()
        self.socket = context.socket(zmq.REQ)
        self.socket.connect('tcp://127.0.0.1:43000')

    def get(self, key):
        self.socket.send(pickle.dumps(('get', key, None)))
        return pickle.loads(self.socket.recv())

    def set(self, key, data):
        self.socket.send(pickle.dumps(('set', key, data)))
        return self.socket.recv() == b'ok'

Kasutamine

cache = SuperCacher()
cache.set('key', 'value')
cache.get('key')

Kodus ülesandena — täiustada teostust, lisades võimaluse määrata aadress/port klassi eksemplari loomisel.

Nüüd kirjutame ise server.
Seekord kasutatakse REP (REPly, vastus) soklit — ootame päringut, saadame vastuse. Anname päringu lahti, vastame kas 'ok', kui kirjutame, või andmetega / None, kui loeme.

import pickle
import json
import zmq

def run_daemon():
    memory = {}

    context = zmq.Context()
    socket = context.socket(zmq.REP)
    socket.bind('tcp://127.0.0.1:43000')

    while True:
        try:
            command, key, data = pickle.loads(socket.recv())
            if command == 'set':
                memory[key] = data
                socket.send(b'ok')
            elif command == 'get':
                result = memory.get(key, None)
                socket.send(pickle.dumps(result))
        except Exception as e:
            print(e)

if __name__ == '__main__':
    run_daemon()

Kogu süsteemi testimiseks käivitame serveri käsuga
python daemon.py

Naabertabas käivitame python interaktiivses režiimis.

>>> from lib import SuperCacher
>>> cache=SuperCacher()
>>> cache.set('key', 'value')
True
>>> cache.get('key')
'value'

Oi imet, see töötab! Nüüd võib julgelt kirjutada oma elulookirjeldusse "key-value andmete salvestamise arendus kasutades zmq protokolli".

Allikas: habr.com