Magento 2: mengimport produk terus ke dalam pangkalan data
В artikel sebelumnya я описал процесс импорта продуктов в Magento 2 обычным способом — через модели и репозитории. Обычный способ отличается весьма низкой скоростью обработки данных. На моём ноутбуке выходило примерно один продукт в секунду. В данном продолжении я рассматриваю альтернативный способ импорта продукта — прямой записью в базу, в обход стандартных механизмов Magento 2 (модели, фабрики, репозитории). Последовательность шагов, обеспечивающих импорт продуктов, может быть адаптирована под любой язык программирования, способный работать с MySQL.
Penafian: В Magento есть готовый функционал по импорту данных и, скорее всего, вам его хватит. Однако если вам нужен более полный контроль за процессом импорта, не ограничивающийся подготовкой CSV-файла для того, что есть — добро пожаловать под кат.
Код, получившийся в результате написания обеих статей, можно посмотреть в Magento-модуле «flancer32/mage2_ext_demo_import«. Вот некоторые ограничения, которых я придерживался, чтобы упростить код демо-модуля:
Продукты только создаются, не обновляются.
Один склад
Импортируются только названия категорий, без их структуры
Структуры данных соответствуют версии 2.3
JSON для импорта отдельного продукта:
{
"sku": "MVA20D-UBV-3",
"name": "Заглушка для пломбировки ВА47-29 IEK",
"desc": "Обеспечение доступа к устройствам ...",
"desc_short": "Заглушка для пломбировки ВА47-29 IEK предназначена для ...",
"price": 5.00,
"qty": 25,
"categories": ["Категория 1", "Категория 2"],
"image_path": "mva20d_ubv_3.png"
}
Обзор основных этапов импорта
регистрация самого продукта
связь продукта и web-сайта
базовые атрибуты продукта (EAV)
ивентарные данные (количество продукта на складе)
медиа (картинки)
связь с категориями каталога
Pendaftaran Produk
Базовая информация о продукте находится в catalog_product_entity:
CREATE TABLE `catalog_product_entity` (
`entity_id` int(10) unsigned NOT NULL AUTO_INCREMENT COMMENT 'Entity Id',
`attribute_set_id` smallint(5) unsigned NOT NULL DEFAULT '0' COMMENT 'Attribute Set ID',
`type_id` varchar(32) NOT NULL DEFAULT 'simple' COMMENT 'Type ID',
`sku` varchar(64) DEFAULT NULL COMMENT 'SKU',
`has_options` smallint(6) NOT NULL DEFAULT '0' COMMENT 'Has Options',
`required_options` smallint(5) unsigned NOT NULL DEFAULT '0' COMMENT 'Required Options',
`created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT 'Creation Time',
`updated_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT 'Update Time',
PRIMARY KEY (`entity_id`),
KEY `CATALOG_PRODUCT_ENTITY_ATTRIBUTE_SET_ID` (`attribute_set_id`),
KEY `CATALOG_PRODUCT_ENTITY_SKU` (`sku`)
)
Минимально необходимая информация для создания записи в реестре продуктов:
attribute_set_id
sku
дополнительная:
type_id — если не укажем, то будет использовано ‘simple’
Для прямой записи в базу использую DB-адаптер самой Magento:
У свежезарегистрированного продукта пока нет ни имени, ни описания. Всё это делается через EAV-аттрибуты. Вот список базовых атрибутов продукта, которые нужны для того, чтобы продукт достаточно корректно показывался на фронте:
name
price
description
short_description
status
tax_class_id
url_key
visibility
Отдельный атрибут к продукту добавляется вот так (опущены детали получения идентификатора и типа атрибута по его коду):
public function create($prodId, $attrCode, $attrValue)
{
$attrId = /* get attribute ID by attribute code */
$attrType = /* get attribute type [datetime|decimal|int|text|varchar]) by attribute code */
if ($attrId) {
/** @var MagentoFrameworkAppResourceConnection $this->resource */
/** @var MagentoFrameworkDBAdapterPdoMysql $conn */
$conn = $this->resource->getConnection();
$tblName = 'catalog_product_entity_' . $attrType;
$table = $this->resource->getTableName($tblName);
$bind = [
'attribute_id' => $attrId,
'entity_id' => $prodId,
/* put all attributes to default store view with id=0 (admin) */
'store_id' => 0,
'value' => $attrValue
];
$conn->insert($table, $bind);
}
}
По коду атрибута определяем его id и тип данных (datetime, decimal, int, text, varchar), затем в соответствующую таблицу пишем данные для административной витрины (store_id = 0).
После добавления вышеперечисленных атрибутов к продукту получается вот такая картинка в админке:
Data inventori
Начиная с версии 2.3 в Magento параллельно существует два набора таблиц, обеспечивающих хранение инвентарной информации (количество продукта):
cataloginventory_*: старая структура;
inventory_*: новая структура (MSI — Multi Source Inventory);
Добавлять инвентарные данные нужно в обе структуры, т.к. новая структура пока ещё не полностью независима от старой (очень похоже, что для default склада в новой структуре задействована таблица cataloginventory_stock_status sebagai inventory_stock_1).
cataloginventory_
При развёртывании Magneto 2.3 мы изначально имеем 2 записи в store_website, что соответствует двум сайтам — административному и основному клиентскому:
Т.е., у нас в старой структуре есть только один «склад» (stock) и он привязан к административному website’у. Добавление через админку новых sources/stocks в MSI (новую структуру) не приводит к появлению новых записей в cataloginventory_stock.
Инвентарные данные о продуктах в старой структуре изначально прописываются в таблицах:
cataloginventory_stock_item
cataloginventory_stock_status
cataloginventory_stock_item
function createOldItem($prodId, $qty)
{
$isQtyDecimal = (((int)$qty) != $qty);
$isInStock = ($qty > 0);
/** @var MagentoFrameworkAppResourceConnection $this->resource */
/** @var MagentoFrameworkDBAdapterPdoMysql $conn */
$conn = $this->resource->getConnection();
$table = $this->resource->getTableName('cataloginventory_stock_item');
$bind = [
'product_id' => $prodId,
/* we use one only stock in 'cataloginventory' structure by default */
'stock_id' => 1,
'qty' => $qty,
'is_qty_decimal' => $isQtyDecimal,
'is_in_stock' => $isInStock,
/* default stock is bound to admin website (see `cataloginventory_stock`) */
'website_id' => 0
];
$conn->insert($table, $bind);
}
cataloginventory_stock_status
function createOldStatus($prodId, $qty)
{
$isInStock = ($qty > 0);
/** @var MagentoFrameworkAppResourceConnection $this->resource */
/** @var MagentoFrameworkDBAdapterPdoMysql $conn */
$conn = $this->resource->getConnection();
$table = $this->resource->getTableName('cataloginventory_stock_status');
$bind = [
'product_id' => $prodId,
/* we use one only stock in 'cataloginventory' structure by default */
'stock_id' => 1,
'qty' => $qty,
'stock_status' => MagentoCatalogInventoryApiDataStockStatusInterface::STATUS_IN_STOCK,
/* default stock is bound to admin website (see `cataloginventory_stock`) */
'website_id' => 0
];
$conn->insert($table, $bind);
}
inventory_
Изначально новая структура для хранения инвентарных данных содержит 1 «sumber"(inventory_source):
«Source» представляет собой физическое хранилище для продуктов (запись содержит физические координаты и почтовый адрес). «Gudang» представляет собой логическое объединение нескольких «источников» (inventory_source_stock_link)
на уровне которого происходит привязка к каналу продажи (inventory_stock_sales_channel)
type |code|stock_id|
-------|----|--------|
website|base| 1|
Судя по структуре данных предполагаются различные типы каналов продаж, но по-умолчанию используется только связь «stok"-"laman web» (ссылка на web-сайт идёт по коду web-сайта — base).
Один «gudang» может быть привязан к нескольким «sumber«, а один «sumber» — к нескольким «складам» (отношение «многие-ко-многим»). Исключения составляют default’овые «sumber"Dan"gudang«. Они не перепривязываются к другим сущностям (ограничение на уровне кода — вылетает ошибка «Can not save link related to Default Source or Default Stock«). Более подробно о структуре MSI в Magento 2 можно прочитать в статье «Система управления складом с использованием CQRS и Event Sourcing. Проектирование".
Я буду использовать default’овую конфигурацию и добавлять всю инвентарную информацию в источник default, который задействован в канале продажи, связанном с web-сайтом с кодом base (соответствует клиентской части магазина — см. store_website):
После добавления инвентарных данных к продукту в админке получается вот такая картинка:
Media
При «ручном» добавлении к продукту изображения через админку соответствующая информация прописывается в следующих таблицах:
catalog_product_entity_media_gallery: медиа-реестр (изображения и видео-файлы);
catalog_product_entity_media_gallery_value: привязка медиа к продуктам и витринам (локализация);
catalog_product_entity_media_gallery_value_to_entity: привязка медиа только к продуктам (предположительно, default медиа-контент для продукта);
catalog_product_entity_varchar: здесь сохраняются роли, в которых используется изображение;
а сами изображения сохраняются в каталог ./pub/media/catalog/product/x/y/Jika x и y — первая и вторая буквы имени файла с изображением. Например, файл image.png должен быть сохранён как ./pub/media/catalog/product/i/m/image.png, чтобы платформа могла использовать его в качестве изображения при описании продуктов из каталога.
catalog_product_entity_media_gallery
Регистрируем размещённый в ./pub/media/catalog/product/ медиа-файл (сам процесс размещения файла в данной статье не рассматривается):
Связываем зарегистрированный медиа-файл с соответствующим продуктом без привязки к какой-либо витрине. Не понятно, где именно используются эти данные и почему нельзя обращаться к данным предыдущей таблицы, но вот эта таблица существует и данные в неё записываются при добавлении картинки к продукту. Поэтому вот так.
Медиа-файл может использоваться с разными ролями (в скобках указан код соответствующего атрибута):
Base (image)
Small Image (small_image)
Thumbnail (thumbnail)
Swatch Image (swatch_image)
Привязка ролей к медиа-файлу как раз и происходит в catalog_product_entity_varchar. Код привязки аналогичен коду в разделе «Базовые атрибуты продукта".
После добавления изображения к продукту в админке получается вот так:
Категории
Основные таблицы, в которых содержатся данные по категориям:
catalog_category_entity: реестр категорий;
catalog_category_product: связь продуктов и категорий;
catalog_category_entity_*: значения EAV-атрибутов;
Изначально, в пустом Magento-приложении в реестре категорий содержится 2 категории (я сократил названия колонок: crt - created_at, upd - updated_at):
Категория с id=1 является корнем всего Magento-каталога и недоступна ни в админке, ни на фронте. Категория с id=2 (Kategori Lalai) является корневой категорией для основного магазина основного сайта (Main Website Store), создаваемого при развёртывании приложения (см. Admin / Stores / All Stores). Причём сама корневая категория магазина на фронте также недоступна, только её подкатегории.
Поскольку темой данной статьи всё-таки является импорт данных по продуктам, то я не буду использовать прямую запись в базу при создании категорий, а воспользуюсь классами предоставляемыми самой Magento (модели и репозитории). Прямая запись в базу используется только для связи импортируемого продукта с категорией (сопоставление категории происходит по её имени, при сопоставлении извлекается id категории):
Продукты в админке после выполнения дополнительных действий:
и на фронте:
Ringkasan
Тот же самый набор продуктов (10 штук), что и в прошлой статье, импортируется, как минимум, на порядок быстрее (1 секунда против 10). Для более точной оценки скорости нужно большее количество продуктов — несколько сотен, а лучше тысяч. Тем не менее, даже при таком небольшом размере входных данных можно сделать вывод, что использование инструментария, предоставляемого Magento (модели и репозитории), значительно (акцентирую — banyak!) ускоряют разработку требуемого функционала, но при этом значительно (акцентирую — banyak!) снижают скорость попадания данных в базу.
В итоге вода оказалась мокрой и это никакое не откровение. Тем не менее, теперь у меня есть код, чтобы играться дальше и, возможно, сделать более интересные выводы.