Основи на работа с zmq в python, създаване на простo key/value хранилище

Въведение

Нека разгледаме пример за просто хранилище key/value, например такова като memcache. То е проектирано просто - данните се съхраняват в паметта, в структура hashmap. Достъпът до тях се осъществява чрез tcp-сокет. В Python hashmap е обикновен dict. За достъп ще използваме zeromq.

Настройка

За инсталирането на този пакет в debian/ubuntu е достатъчно да въведете в конзолата
sudo apt-get install libzmq-dev
sudo pip install zmq

Код

Нека напишем клас за работа с нашето сървъра.:
Типът на използвания zmq-сокет е REQ(REQuest, запитване), изпращаме запитване - чакаме отговор.
За да съхраняваме и предаваме по мрежата всеки тип данни, използваме стандартния модул pickle. "Протоколът" на работа е кортеж от три стойности: (команда, ключ, данни)

import zmq
import pickle

class SuperCacher:
    def __init__(self):
        context = zmq.Context()
        self.socket = context.socket(zmq.REQ)
        self.socket.connect('tcp://127.0.0.1:43000')

    def get(self, key):
        self.socket.send(pickle.dumps(('get', key, None)))
        return pickle.loads(self.socket.recv())

    def set(self, key, data):
        self.socket.send(pickle.dumps(('set', key, data)))
        return self.socket.recv() == b'ok'

Използване

cache = SuperCacher()
cache.set('key', 'value')
cache.get('key')

Като домашна работа - подобрете реализацията, добавяйки възможността да посочите адрес/порт при създаването на экземпляра на класа.

Сега да напишем самия сървър.
Този път се използва сокет REP(REPly, отговор) - чакаме запитване, изпращаме отговор. Разглеждаме запитването, отговаряме или с 'ok' в случай на запис, или с данни / None в случай на четене.

import pickle
import json
import zmq

def run_daemon():
    memory = {}

    context = zmq.Context()
    socket = context.socket(zmq.REP)
    socket.bind('tcp://127.0.0.1:43000')

    while True:
        try:
            command, key, data = pickle.loads(socket.recv())
            if command == 'set':
                memory[key] = data
                socket.send(b'ok')
            elif command == 'get':
                result = memory.get(key, None)
                socket.send(pickle.dumps(result))
        except Exception as e:
            print(e)

if __name__ == '__main__':
    run_daemon()

За да тествате всичко заедно, стартирайте сървъра с командата
python daemon.py

В съседния раздел стартирайте python в интерактивен режим.

>>> from lib import SuperCacher
>>> cache=SuperCacher()
>>> cache.set('key', 'value')
True
>>> cache.get('key')
'value'

О чудо, то работи! Сега може смело да напишете в своето резюме "разработка на key-value хранилище с използване на протокола zmq"

Източник: habr.com