Основи роботи з zmq в python, створення простого key/value сховища

Запровадження

Розберемо приклад простого key/value сховища, наприклад, такого як memcache. Влаштований він просто – дані зберігаються у пам'яті, у структурі hashmap. Доступ до них здійснюється через tcp-сокет. У пітоні hashmap це звичайний dict. Для доступу будемо використовувати zeromq.

Налаштування

Для встановлення цього пакета в debian/ubuntu достатньо ввести консолі
sudo apt-get install libzmq-dev
sudo pip install zmq

Код

Напишемо клас для роботи з нашим сервером:
Тип використовуваного zmq-сокету - REQ (REQuest, запит), посилаємо запит - чекаємо на відповідь.
Щоб зберігати та передавати по мережі будь-який тип даних, використовуємо стандартний модуль pickle. «Протокол» роботи — кортеж із трьох значень: (команда, ключ, дані)

import zmq
import pickle

class SuperCacher:
    def __init__(self):
        context = zmq.Context()
        self.socket = context.socket(zmq.REQ)
        self.socket.connect('tcp://127.0.0.1:43000')

    def get(self, key):
        self.socket.send(pickle.dumps(('get', key, None)))
        return pickle.loads(self.socket.recv())

    def set(self, key, data):
        self.socket.send(pickle.dumps(('set', key, data)))
        return self.socket.recv() == b'ok'

Використання

cache = SuperCacher()
cache.set('key', 'value')
cache.get('key')

Як домашнє завдання — покращити реалізацію, додавши можливість вказувати адресу/порт при створенні екземпляра класу.

Тепер напишемо сам сервер.
На цей раз використовується сокет REP (REPly, відповідь) - чекаємо на запит, шолом відповідь. Розбираємо запит, відповідаємо або 'ok' у разі запису, або даними/None у разі читання.

import pickle
import json
import zmq

def run_daemon():
    memory = {}

    context = zmq.Context()
    socket = context.socket(zmq.REP)
    socket.bind('tcp://127.0.0.1:43000')

    while True:
        try:
            command, key, data = pickle.loads(socket.recv())
            if command == 'set':
                memory[key] = data
                socket.send(b'ok')
            elif command == 'get':
                result = memory.get(key, None)
                socket.send(pickle.dumps(result))
        except Exception as e:
            print(e)

if __name__ == '__main__':
    run_daemon()

Щоб протестувати усі разом, запускаємо сервер командою
python daemon.py

У сусідній вкладці запускаємо python в інтерактивному режимі.

>>> from lib import SuperCacher
>>> cache=SuperCacher()
>>> cache.set('key', 'value')
True
>>> cache.get('key')
'value'

О диво, воно працює! Тепер можна сміливо писати у своєму резюме «розробка key-value сховища з використанням протоколу zmq»

Джерело: habr.com