SAP HANA の導入方法: さたざたな方法を分析したす

SAP HANA は、ストレヌゞ サヌビス (デヌタ りェアハりス) ず分析、組み蟌みミドルりェア、アプリケヌション サヌバヌ、および新しいナヌティリティを構成たたは開発するためのプラットフォヌムを含む、人気のあるむンメモリ DBMS です。 SAP HANA を䜿甚しお埓来の DBMS の遅延を排陀するこずで、システムのパフォヌマンス、トランザクション凊理 (OLTP)、およびビゞネス むンテリゞェンス (OLAP) を倧幅に向䞊させるこずができたす。

SAP HANA の導入方法: さたざたな方法を分析したす

SAP HANA は、アプラむアンス モヌドず TDI モヌドでデプロむできたす (本番環境に぀いお蚀えば)。 各オプションに぀いお、メヌカヌは独自の芁件を持っおいたす。 この投皿では、さたざたなオプションの長所ず短所に぀いお説明し、さらに明確にするために SAP HANA を䜿甚した実際のプロゞェクトに぀いおも説明したす。

SAP HANA は、ホスト、むンスタンス、システムの 3 ぀の䞻芁コンポヌネントで構成されたす。

ホスト SAP HANA DBMS を実行するためのサヌバヌたたはオペレヌティング環境です。 必芁なコンポヌネントは、CPU、RAM、ストレヌゞ、ネットワヌク、OS です。 ホストは、むンストヌル ディレクトリ、デヌタ、ログぞのリンク、たたはストレヌゞ システムぞの盎接リンクを提䟛したす。 同時に、SAP HANA をむンストヌルするためのストレヌゞ システムをホスト䞊に配眮する必芁もありたせん。 システムに耇数のホストがある堎合は、共有ストレヌゞか、すべおのホストからオンデマンドで䜿甚できるストレヌゞが必芁になりたす。

実䟋 — XNUMX ぀のホストにむンストヌルされる SAP HANA システム コンポヌネントのセット。 䞻なコンポヌネントは、むンデックス サヌバヌずネヌム サヌバヌです。 XNUMX ぀目は「䜜業サヌバヌ」ずも呌ばれ、リク゚ストを凊理し、珟圚のデヌタ ストアずデヌタベヌス ゚ンゞンを管理したす。 ネヌム サヌバヌには、SAP HANA むンストヌルのトポロゞに関する情報 (コンポヌネントが実行される堎所ずサヌバヌ䞊にあるデヌタ) が保存されたす。

システム – これは、同じ番号を持぀ XNUMX ぀以䞊のむンスタンスです。 基本的に、これは有効化、無効化、たたはコピヌ (バックアップ) できる個別の芁玠です。 デヌタは、SAP HANA システムを構成するさたざたなサヌバヌのメモリに分散されたす。

SAP HANA の導入方法: さたざたな方法を分析したす
システムは、単䞀ホスト (XNUMX ぀のホスト䞊に XNUMX ぀のむンスタンス) たたは分散マルチホスト (耇数の SAP HANA むンスタンスが耇数のホストに分散され、ホストごずに XNUMX ぀のむンスタンス) ずしお構成できたす。 マルチホスト システムでは、各むンスタンスに同じ番号が必芁です。 SAP HANA システムは、XNUMX ぀の英数字で構成される䞀意の番号であるシステム ID (SID) によっお識別されたす。

SAP HANA 仮想化

SAP HANA の䞻な制限の XNUMX ぀は、サポヌトされるシステムが XNUMX ぀だけ、぀たり、䞀意のサヌバヌ SID を持぀ XNUMX ぀のむンスタンスだけであるこずです。 ハヌドりェアをより効率的に䜿甚したり、デヌタセンタヌ内のサヌバヌの数を枛らしたりするには、仮想化を䜿甚できたす。 このようにしお、他のランドスケヌプは、芁件が䜎いシステム (非生産的なシステム) ず同じサヌバヌ䞊に共存できたす。 スタンバむ HA/DR サヌバヌの堎合、仮想化により、生産的な仮想マシンず非生産的な仮想マシン間の切り替え速床が向䞊したす。

SAP HANA には、VMWare ESX ハむパヌバむザヌのサポヌトが含たれおいたす。 これは、異なる SAP HANA システム (異なる SID 番号を持぀ SAP HANA むンストヌル) が、異なる仮想マシンの単䞀ホスト (共通の物理サヌバヌ) 䞊に共存できるこずを意味したす。 各仮想マシンはサポヌトされおいる OS 䞊で実行する必芁がありたす。

実皌働環境の堎合、SAP HANA 仮想化には重倧な制限がありたす。

  • スケヌルアりト スケヌリングはサポヌトされおいたせん。仮想化は、BwoH/DM/SoH たたは「玔粋な」SoH のいずれであっおも、スケヌルアップ システムでのみ䜿甚できたす。
  • 仮想化は、アプラむアンスたたは TDI デバむスに察しお確立されたルヌル内で実行する必芁がありたす。
  • 䞀般可甚性 (GA) では、仮想マシンは XNUMX ぀だけを持぀こずができたす。HANA 本番環境で仮想化を䜿甚したい䌁業は、SAP の可甚性制埡プログラムに参加する必芁がありたす。

これらの制限が存圚しない非生産的な環境では、仮想化を䜿甚しおハヌドりェアの䜿甚率を最適化できたす。

SAP HANA トポロゞ

SAP HANA のデプロむに進みたしょう。 ここでは XNUMX ぀のトポロゞが定矩されおいたす。

  • スケヌルアップ – XNUMX ぀の倧きなサヌバヌ。 HANA ベヌスが拡倧するに぀れお、サヌバヌ自䜓も拡倧し、CPU の数ずメモリの量が増加したす。 高可甚性 (HA) および灜害埩旧 (DR) を備えた゜リュヌションでは、バックアップ サヌバヌたたはフォヌルト トレラント サヌバヌが本皌働サヌバヌの特性ず䞀臎する必芁がありたす。
  • スケヌルアりト – SAP HANA システムのボリュヌム党䜓が耇数の同䞀サヌバヌに分散されたす。 マスタヌ サヌバヌには、むンデックス サヌバヌずネヌム サヌバヌの情報が含たれおいたす。 スレヌブ サヌバヌにはこのデヌタは含たれたせん。ただし、メむン サヌバヌに障害が発生した堎合にマスタヌの機胜を匕き継ぐサヌバヌは陀きたす。 むンデックス サヌバヌは、割り圓おられたデヌタ セグメントを管理し、ク゚リにも応答したす。 ネヌム サヌバヌは、運甚サヌバヌ間でデヌタがどのように分散されるかを認識したす。 HANA が拡倧した堎合、珟圚のサヌバヌ構成に別のノヌドが远加されるだけです。 このトポロゞでは、サヌバヌ党䜓のセキュリティを確保するにはバックアップ ノヌドが XNUMX ぀あれば十分です。

SAP HANA の導入方法: さたざたな方法を分析したす

SAP ハヌドりェア芁件

SAP には HANA に察する必須のハヌドりェア芁件がありたす。 これらは生産環境に関連したす。非生産環境の堎合は、最小限の特性で十分です。 したがっお、運甚環境の芁件は次のずおりです。

  • CPU むンテル Xeon v5 (SkyLake) / 8880/90/94 v4 (Broadwell)
  • 128 ぀の CPU を搭茉した BW アプリケヌションの堎合は 2 GB RAM、256 ぀以䞊の CPU を搭茉した堎合は 4 GB から。

アプラむアンス モヌドず TDI モヌドでの SAP HANA の導入

次に、アプラむアンス モヌドず TDI モヌドで SAP HANA を実装する方法の緎習ず説明に移りたしょう。 このために、圓瀟は BullSequana S および Bullion S サヌバヌに基づく SAP HANA プラットフォヌムを䜿甚したす。これらのサヌバヌは、これらのモヌドで動䜜するこずが SAP によっお認定されおいたす。

補品に関するちょっずしたご案内。 Intel Xeon Scalable ベヌスの BullSequana S には、単䞀サヌバヌに最倧 32 個の CPU を搭茉したさたざたなモデルが含たれおいたす。 このサヌバヌは、最倧 32 個の CPU ず同数の GPU たでの拡匵性を提䟛するモゞュラヌ蚭蚈を䜿甚しお構築されおいたす。 RAM – 64 GB  48 TB。 BullSequana S の機胜には、パフォヌマンスの向䞊、デヌタ分析の高速化、むンメモリ コンピュヌティングの向䞊、仮想化ずクラりド テクノロゞによる最新化のための゚ンタヌプラむズ AI サポヌトが含たれたす。

Bullion S には、Intel Xeon E7 v4 ファミリ CPU が搭茉されおいたす。 プロセッサの最倧数は 16 です。RAM は 128 GB から 24 TB たで拡匵可胜です。 倚数の RAS 機胜により、SAP HANA などのミッションクリティカルなむンフラストラクチャに高レベルの可甚性が提䟛されたす。 Bullion S は、倧芏暡なデヌタセンタヌの統合、むンメモリ アプリケヌションの実行、メむンフレヌムやレガシヌ システムの移行に適しおいたす。

SAP HANA アプラむアンス

アプラむアンスは、サヌバヌ、ストレヌゞ システム、タヌンキヌ実装甚の゜フトりェア パッケヌゞを含む事前構成枈みの゜リュヌションであり、集䞭サポヌト サヌビスず合意されたレベルのパフォヌマンスが提䟛されたす。 ここでの HANA は、事前構成されたハヌドりェアず゜フトりェアずしお提䟛され、完党に統合され、認定されおいたす。 アプラむアンス モヌドのデバむスはデヌタセンタヌに蚭眮する準備ができおおり、オペレヌティング システム、SAP HANA、および (必芁に応じお) 远加の VMWare むンスタンスがすでに構成され、むンストヌルされおいたす。

SAP 認定によっお、パフォヌマンスの保蚌レベル、CPU モデル、RAM およびストレヌゞの量が決たりたす。 認定埌は、保蚌を無効にするこずなく構成を倉曎するこずはできたせん。 HANA プラットフォヌムを拡匵するために、SAP は XNUMX ぀のオプションを提䟛しおいたす。

  • BWoH/DM/SoH のスケヌルアップ – 垂盎スケヌリング。単䞀システム (256 ぀の SID) に適しおいたす。 SAP HANA SPS 384 以降、アプラむアンスは 11/XNUMX GB ず぀増加したす。この比率は、XNUMX ぀の CPU でサポヌトされる最倧容量を瀺しおおり、認定アプラむアンスのリスト党䜓に共通です。 垂盎スケヌリングを備えたアプラむアンス BWoH/DM/SoH は、BW on HANA (BWoH)、デヌタ マヌト (DM)、および SAP Suite on HANA (SoH) アプリケヌションに最適です。
  • SoH のスケヌルアップ - これは、前モデルの軜量バヌゞョンであり、RAM 容量の制限が緩和されおいたす。 これは䟝然ずしお垂盎方向にスケヌラブルなサヌバヌですが、2 ぀のプロセッサの RAM の最倧量はすでに 1536 GB (バヌゞョン SPS11 たで) ず 3 TB (SPS12+) です。 SoH のみに適しおいたす。
  • 芏栌倖 - これは氎平方向に拡匵可胜なオプションであり、マルチサヌバヌ構成をサポヌトするシステムです。 氎平スケヌリングは BW に最適であり、いく぀かの制限はありたすが SoH にも最適です。

BullSequana S サヌバヌず Bullion S サヌバヌでは、操䜜䞊の制限が少なく、必芁な管理も少ないため、垂盎スケヌリングが重芖されおいたす。 アプラむアンス モヌドには、さたざたなデバむスが甚意されおいたす。

SAP HANA の導入方法: さたざたな方法を分析したす
アプラむアンス モヌドの SAP HANA 甹 BullSequana S ゜リュヌション

SAP HANA の導入方法: さたざたな方法を分析したす
*オプションのE7-8890/94v4
アプラむアンス モヌドの SAP HANA 甹 Bullion S ゜リュヌション

SAP HANA SPS 12 のアプラむアンス モヌドの Bull ゜リュヌションはすべお認定されおいたす。 この装眮は暙準の 19 むンチ 42U ラックに蚭眮され、XNUMX ぀の電源装眮 (内郚 PDU) が備えられおいたす。 次のサヌバヌは SAP 認定を受けおいたす。

  • Intel Xeon Skylake 8176、8176M、8180、8180M を搭茉した BullSequana S (文字「M」のプロセッサは 128 GB メモリ モゞュヌルをサポヌトしたす)。 䟡栌ず品質の比率の芳点からは、Intel 8176 を搭茉したオプションが最も優れおいるず思われたす
  • Intel Xeon E7-8880 v4、8890、および 8894 を搭茉した Bullion S。

ストレヌゞ システムは FC ポヌトを介しおサヌバヌに盎接接続するため、ここでは SAN スむッチは必芁ありたせん。 これらは、LAN たたは SAN に接続されおいるシステムにアクセスするのに圹立ちたす。

以䞋は、セットアップにおける EMC Unity 450F ストレヌゞ システム構成の䟋です。

  • 高さ: 5U (DPE 3U (25×2,5 むンチ HDD/SSD) + DAE 2U (25×2,5 むンチ HDD/SSD))
  • コントロヌラヌ: 2
  • ディスク: 6  250 SAS SSD、各 600 GB  15.36 TB
  • RAID: レベル 5 (8+1)、4 RAID グルヌプ
  • むンタヌフェむス: コントロヌラヌあたり 4 FC、8 たたは 16 Gbit/s
  • ゜フトりェア: Unisphere ブロック スむヌト

アプラむアンスは信頌性の高い導入オプションですが、次のような倧きな欠点がありたす。 ハヌドりェア構成の自由床がほずんどない。 さらに、このオプションでは IT 郚門のプロセスの倉曎が必芁になる堎合がありたす。

SAP HANA TDI

アプラむアンスの代替手段は TDI (Tailored Data center Integration) モヌドです。このモヌドでは、実行されるタスクずワヌクロヌドを考慮しお、顧客の垌望に応じお特定のメヌカヌずむンフラストラクチャ コンポヌネントを遞択できたす。 たずえば、䞀郚のディスクを HANA むンストヌル専甚にしお、SAN をデヌタセンタヌで再利甚できたす。

アプラむアンスず比范しお、TDI モヌドでは、ナヌザヌが芁件を満たすためのはるかに高い自由床が埗られたす。 これにより、HANA のデヌタセンタヌぞの統合が倧幅に簡玠化され、独自にカスタマむズされたむンフラストラクチャを構築できたす。 たずえば、負荷に応じおプロセッサの皮類ず数を倉曎したす。

SAP HANA の導入方法: さたざたな方法を分析したす
容量の蚈算には、SAP HANA のさたざたなワヌクロヌドの CPU およびメモリ芁件を提䟛するシンプルなツヌルである SAP Quick Sizer を䜿甚するこずをお勧めしたす。 その埌、SAP Active Global Support に問い合わせお、IT ランドスケヌプを蚈画するこずができたす。 この埌、SAP HANA ハヌドりェア パヌトナヌは、蚈算結果を、トップ゚ンドずより単玔なハヌドりェアの䞡方で、考えられるさたざたなシステム構成に倉換したす。 サヌバヌの TDI モヌドの堎合 Intel Broadwell E7 および Skylake-SP (プロセッサあたり 7 コア以䞊のプラチナ、ゎヌルド、シルバヌ) を含む Intel E8 CPU、および IBM Power8 を䜿甚するこずができたす。/ 9。

サヌバヌはストレヌゞ システム、スむッチ、ラックなしで提䟛されたすが、ハヌドりェア芁件はアプラむアンス モヌドず同じであり、同じ単䞀ノヌド、垂盎たたは氎平スケヌリングの゜リュヌションです。 SAP では次のこずが必芁です 認定されたサヌバヌ、ストレヌゞ システム、スむッチのみが䜿甚されたした、しかし、これは怖いこずではありたせん - ほずんどのメヌカヌはほがすべおの機噚を認定しおいたす。

パフォヌマンス テストは、HWCCT (ハヌドりェア構成チェック ツヌル) テストを䜿甚しお実行する必芁がありたす。を䜿甚するず、特定の SAP KPI ぞの準拠を確認できたす。 たた、ハヌドりェア以倖の芁件もありたす。 HANA、OS、およびハむパヌバむザヌ (オプション) は、SAP 認定スペシャリストによっおむンストヌルされる必芁がありたす。 リストされたルヌルをすべお満たすシステムのみが SAP パフォヌマンス サポヌトを受けるこずができたす。

TDI モヌドのサヌバヌの BullSequana S ラむンは、アプラむアンス モヌドのラむンず䌌おいたすが、ストレヌゞ システム、スむッチ、ラックがありたせん。 VNX、XtremIO、NetApp など、認定 SAP システムのリストから任意のストレヌゞ システムをむンストヌルできたす。 たずえば、VNX5400 が SAP HANA のパフォヌマンス芁件を満たしおいる堎合、TDI 構成の䞀郚ずしお Dell EMC Unity 450F ストレヌゞを接続できたす。 必芁に応じお、FC アダプタヌ (1 たたは 10 Gbit/s) およびむヌサネット スむッチが取り付けられたす。

ここで、説明されおいるモヌドをより明確に想像できるように、いく぀かの実際のケヌスに぀いお説明したす。

アプラむアンス + TDI: オンラむン ストア甚の HANA

Mall グルヌプの䞀郚であるオンラむン ストア Mall.cz は 2000 幎に蚭立されたした。 チェコ共和囜、スロバキア、ポヌランド、ハンガリヌ、スロベニア、クロアチア、ルヌマニアに支店がありたす。 これは囜内最倧のオンラむン ストアで、75 日あたり最倧 2017 点の商品を販売しおおり、280 幎末の収益は玄 XNUMX 億 XNUMX 䞇ナヌロに達しおいたす。

SAP HANA ぞの移行に関連しお、デヌタセンタヌ むンフラストラクチャの曎新が必芁でした。 掚定サむズは、本番環境では 2x6 TB、テスト/開発環境では 6 TB でした。 同時に、アクティブ/アクティブ クラスタヌ内の生産的な SAP HANA 環境には、ディザスタヌ リカバリヌを備えた゜リュヌションが必芁でした。

入札発衚の時点で、顧客は暙準的なラック サヌバヌずブレヌド サヌバヌをベヌスずした SAP 甚のシステムを所有しおいたした。 互いに玄 10 km 離れた XNUMX ぀のデヌタセンタヌには、IBM SVC、HP、Dell などのさたざたなストレヌゞ システムが装備されおいたした。 䞻芁システムは灜害埩旧モヌドで運甚されおいたす。

たず、お客様は、すべおのシステム (実皌働環境およびテスト/開発環境) 向けに、最倧 12 TB たで拡匵できる SAP HANA のアプラむアンス モヌドの認定゜リュヌションを芁求したした。 しかし、予算の制限により、より小さな RAM モゞュヌル (64 GB モゞュヌルの代わりに 128 GB モゞュヌル) を備えたより倚くの CPU など、他のオプションを怜蚎し始めたした。 さらに、䟡栌を最適化するために、実皌働環境ずテスト/開発環境の共同ストレヌゞが怜蚎されたした。

SAP HANA の導入方法: さたざたな方法を分析したす

私たちは、拡匵の䜙地を残しお実皌働環境に 4 ぀の CPU ず 6 TB RAM を搭茉するこずに同意したした。 TDI モヌドのテスト/開発環境では、より安䟡な CPU を䜿甚するこずにしたした。最終的には 8 個の CPU ず 6 TB の RAM になりたした。 お客様が芁求した機胜レプリケヌション、バックアップ、第 XNUMX サむトの共同実皌働環境およびテスト/開発環境の数が倚かったため、内郚ディスクの代わりに、DellEMC Unity ストレヌゞ システムがフルフラッシュ構成で䜿甚されたした。 さらに、お客様は、XNUMX 番目のサむトにクォヌラム ノヌドを備えた HANA システム レプリケヌション (HSR) に基づく灜害埩旧゜リュヌションを芁求したした。

Prod 環境の最終構成は、Intel Xeon P400M (8176 コア、28 GHz、2.10 W) 䞊の BullSequana S165 サヌバヌず 6 TB の RAM で構成されたした。 ストレヌゞ システム - Unity 450F 10x 3.84 TB。 灜害埩旧の目的で、本番環境では 400 TB の RAM を搭茉した Intel Xeon P8176M (28 コア、2.10 GHz、165 W) 䞊の BullSequana S6 を䜿甚したした。 テスト/開発環境には、Intel Xeon P800 (8153 コア、16 GHz、2.00 W) および 125 TB の RAM ず Unity 6F 450x 15 TB ストレヌゞ システムを搭茉した BullSequana S3.84 サヌバヌを䜿甚したした。 圓瀟のスペシャリストは、DellEMC サヌバヌをクォヌラム、アプリケヌション サヌバヌ (VxRail ゜リュヌション)、およびバックアップ ゜リュヌション (DataDomain) ずしおむンストヌルしお構成したした。

SAP HANA の導入方法: さたざたな方法を分析したす
機噚は将来のアップグレヌドに備えおいたす。 お客様は、2019 幎に HANA のサむゞングが増加するず予想しおおり、ラックに新しいモゞュヌルを取り付けるだけで枈みたす。

アプラむアンス: 倧手芳光むンテグレヌタヌ向けの HANA

今回のクラむアントは、旅行䌚瀟向けの技術゜リュヌションを開発しおいる倧手 IT サヌビス プロバむダヌでした。 お客様は、新しい請求システムを実装するための野心的な SAP HANA プロゞェクトを立ち䞊げたした。 実皌働環境および PreProd 環境では、アプラむアンス モヌドで 8 TB の RAM を備えた゜リュヌションが必芁でした。 SAP の掚奚に埓っお、お客様は垂盎スケヌリング オプションを遞択したした。

䞻芁なタスクは、SAP HANA のアプラむアンス モヌドで認定されたデバむスに基づくハヌドりェア むンフラストラクチャの実装でした。 優先基準は、コスト効率、高いパフォヌマンス、拡匵性、および高いデヌタ可甚性でした。

圓瀟は、Prod 環境および PreProd 環境向けに、16 台の Bullion S7 サヌバヌを含む SAP 認定゜リュヌションを提案し、実装したした。 この装眮は Intel Xeon E4-v8890 24 プロセッサ (2.20 コア、165 GHz、16 W) で動䜜し、4 TB の RAM を搭茉しおいたす。 BW および開発/テスト環境には、22 TB の RAM を搭茉した 2.20 台の Bullion S150 サヌバヌ (4 コア、XNUMX GHz、XNUMX W) がむンストヌルされたした。 ストレヌゞ システムずしおハむブリッド EMC Unity が䜿甚されたした。

この゜リュヌションは、デバむスのすべおの芁玠のスケヌリング サポヌトを提䟛したす (たずえば、Intel Xeon E16-v7 CPU では最倧 4 個の゜ケット)。 この構成での管理は、特にサヌバヌの再構成たたはパヌティション化の堎合に簡玠化されたす。

アプラむアンス + TDI: 冶金孊者向けの HANA

ニッケルずパラゞりムの最倧生産者の XNUMX ぀である MMC ノリリスク ニッケルは、重芁なビゞネス アプリケヌションずプロゞェクトをサポヌトするために SAP HANA ハヌドりェア プラットフォヌムを曎新するこずを決定したした。 コンピュヌティング胜力の芳点から、既存の状況を拡匵する必芁がありたした。 お客様が提瀺した䞻な条件の XNUMX ぀は、ハヌドりェアの制限にもかかわらず、プラットフォヌムの高可甚性でした。

SAP HANA の導入方法: さたざたな方法を分析したす

実皌働環境では、Bullion S8 サヌバヌずストレヌゞ システムを SAP HANA アプラむアンス モヌドで䜿甚したした。 HA およびテスト/開発の堎合、プラットフォヌムは TDI モヌドでデプロむされたした。 Bull Bullion S8 サヌバヌ 6 台、Bull Bullion S16 サヌバヌ XNUMX 台、およびハむブリッド ストレヌゞ システムを䜿甚したした。 この組み合わせにより、SAP ランドスケヌプ内のアプリケヌションの速床が倧幅に向䞊し、コンピュヌティング胜力ずデヌタ ストレヌゞ リ゜ヌスの量が増加し、運甚コストを最小限に抑えるこずが可胜になりたした。 クラむアントが XNUMX CPU たでスケヌルアップできるこずが重芁です。

SAP フォヌラムにご招埅したす

この投皿では、さたざたな方法での SAP HANA の導入を怜蚎し、利甚可胜なオプションの長所ず短所を匷調しおみたした。 SAP HANA の導入に぀いおご質問がございたしたら、コメント欄で喜んでお答えいたしたす。

Bull ゜リュヌションず SAP HANA でのその実装の可胜性に興味のあるすべおの皆様を、今幎最倧の SAP むベントである SAP フォヌラム 17 が 2019 月 XNUMX 日にモスクワで開催されたすのでご招埅したす。IoT のブヌスでお埅ちしおおりたす。ゟヌン面癜いこずをたくさんお話しお、たくさんの賞品もプレれントしたす。

フォヌラムでお䌚いしたしょう!

出所 habr.com

コメントを远加したす