Fondamenti di lavoro con zmq in python, creazione di un semplice archivio key/value

Introduzione

Analizziamo un esempio di semplice archivio key/value, come memcache. È strutturato in modo semplice: i dati vengono memorizzati in memoria, all'interno di una struttura hashmap. L'accesso avviene tramite un socket tcp. In Python, una hashmap è un normale dict. Per l'accesso utilizzeremo zeromq.

Impostazione

Per installare questo pacchetto in debian/ubuntu basta digitare in console
sudo apt-get install libzmq-dev
sudo pip install zmq

Codice

Scriviamo una classe per lavorare con il nostro server:
Tipo di socket zmq utilizzato — REQ (REQuest, richiesta), inviamo una richiesta — aspettiamo una risposta.
Per memorizzare e trasmettere qualsiasi tipo di dato su rete, utilizziamo il modulo standard pickle. Il "protocollo" di funzionamento è una tupla di tre valori: (comando, chiave, dati)

import zmq
import pickle

class SuperCacher:
    def __init__(self):
        context = zmq.Context()
        self.socket = context.socket(zmq.REQ)
        self.socket.connect('tcp://127.0.0.1:43000')

    def get(self, key):
        self.socket.send(pickle.dumps(('get', key, None)))
        return pickle.loads(self.socket.recv())

    def set(self, key, data):
        self.socket.send(pickle.dumps(('set', key, data)))
        return self.socket.recv() == b'ok'

L'utilizzo di

cache = SuperCacher()
cache.set('key', 'value')
cache.get('key')

Come compito a casa — migliorare l'implementazione, aggiungendo la possibilità di specificare indirizzo/porta durante la creazione di un'istanza della classe.

Ora scriviamo il cuore del sistema un server.
Questa volta si usa il socket REP (REPly, risposta) — aspettiamo una richiesta, inviamo una risposta. Analizziamo la richiesta e rispondiamo con ‘ok’ in caso di scrittura, oppure con i dati / None in caso di lettura.

import pickle
import json
import zmq

def run_daemon():
    memory = {}

    context = zmq.Context()
    socket = context.socket(zmq.REP)
    socket.bind('tcp://127.0.0.1:43000')

    while True:
        try:
            command, key, data = pickle.loads(socket.recv())
            if command == 'set':
                memory[key] = data
                socket.send(b'ok')
            elif command == 'get':
                result = memory.get(key, None)
                socket.send(pickle.dumps(result))
        except Exception as e:
            print(e)

if __name__ == '__main__':
    run_daemon()

Per testare tutto insieme, avviamo il server con il comando
python daemon.py

Nella scheda accanto, avviamo python in modalità interattiva.

>>> from lib import SuperCacher
>>> cache=SuperCacher()
>>> cache.set('key', 'value')
True
>>> cache.get('key')
'value'

Oh meraviglia, funziona! Ora puoi tranquillamente scrivere nel tuo curriculum «sviluppo di uno storage key-value utilizzando il protocollo zmq»

Fonte: habr.com