Mail.ru グループの技術問題、2019 年冬

最近、テクノパーク (バウマン MSTU)、テクノスフィア (ロモノーソフ モスクワ州立大学)、テクノトレック (MIPT) という当社の XNUMX つのテクノロジー プロジェクトの卒業生の次の冬季防衛戦が開催されました。 各チームは、独自のアイデアの実装と、Mai.ru グループのさまざまな部門から提案された実際のビジネス上の問題に対する解決策の両方を発表しました。

プロジェクトの中には:

• 拡張現実を利用したギフト販売サービス。
• メーリング リストからのプロモーション、割引、オファーを集約するサービス。
• 衣服を視覚的に検索します。
• レンタルオプション付き電子書籍クロスサービス。
• スマートフードスキャナー。
• 現代的な音声ガイド。
• プロジェクト「Mail.ruタスク」
• 未来のモバイルテレビ。

審査員やメンターから特に注目を集めたXNUMXつのプロジェクトについて、さらに詳しくお伝えしたいと思います。

洋服のビジュアル検索

このプロジェクトはテクノスフィア卒業生のチームによって発表されました。 アナリストによると、2018年のロシアのファッション市場は約2,4兆2億ルーブルに達した。 彼らは、多種多様な商品を購入するためのインテリジェントなアシスタントとして位置付けられるサービスを作成しました。 オンラインストアの機能を拡張するBXNUMXBソリューションです。

UX テスト中に、プロジェクトの作成者は、人々が「似た服装」によって類似性を色やパターンではなく、衣服の属性で理解していることを発見しました。 そこで彼らは、XNUMX つの写真を比較するだけでなく、意味的な近接性を理解するシステムを開発しました。 興味のある衣類の画像をアップロードすると、サービスがその属性に関連する商品を選択します。

技術的には、システムは次のように動作します。

Cascade Mask-RCNN ニューラル ネットワークは、検出と分類のためにトレーニングされました。 衣類の属性と類似性を判断するために、複数のヘッドを備えた ResNext-50 に基づくニューラル ネットワークが属性のグループに対して使用され、XNUMX つの製品の写真に対してトリプレット損失が使用されます。 プロジェクト全体はマイクロサービス アーキテクチャに基づいて実装されました。

将来的には次のことが計画されています。

1. あらゆるカテゴリーの衣料品を対象としたサービスを開始します。
2. オンラインストア用のAPIを開発します。
3. 属性操作を改善します。
4. 自然言語でのクエリを理解する方法を学びます。

プロジェクトチーム: ウラジミール・ベリャエフ、ペトル・ザイデル、エミール・ボゴモロフ。

未来のモバイルテレビ

テクノパークチームのプロジェクト。 学生たちは、ロシアの主要なデジタル放送チャンネルのテレビ番組表を含むアプリケーションを作成し、これに IPTV (オンライン チャンネル) またはアンテナを使用してチャンネルを視聴する機能を追加しました。

最も困難だったのは、アンテナを Android デバイスに接続することでした。これにはチューナーが使用され、作者自身がそのドライバーを作成しました。 その結果、Android 上で XNUMX つのアプリケーションでテレビを視聴し、テレビ番組ガイドを使用できるようになりました。

プロジェクトチーム: コンスタンチン・ミトラコフ、セルゲイ・ロマチョフ。

メーリング リストからのプロモーション、割引、オファーを集約するサービス

これは、広告と郵便のテクノロジーが交差するプロジェクトです。 私たちのメールボックスはスパムや郵便物でいっぱいです。 私たちは毎日、個人割引に関する手紙を受け取りますが、それを「無駄な広告」と認識して、ますます開封することが少なくなります。 このため、ユーザーは利益を失い、広告主は損失を被ります。 Mail.ru Mail の調査によると、ユーザーは自分が受けている割引の概要を知りたがっていることがわかりました。

プロジェクト 郵便取引 ニュースレターから割引やプロモーションに関する情報を収集し、カードのリボンの形式で表示します。そこからプロモーション Web サイトまたは電子メールにアクセスできます。 このプログラムは、複数のメールボックスを同時に操作できます。 選択された銘柄のリストがあります。

このプロジェクトはマイクロサービス アーキテクチャを採用しており、次の XNUMX つの主要な部分で構成されています。

1. メールボックスの接続に便利な OAuth 認証。
2. プロモーションに関するレターの収集と分析。
3. 割引カードの保管と表示。

このプロジェクトでは、GPU リソースを使用した自然言語処理技術が使用されており、グラフィック アクセラレータにより処理速度を 50 倍に向上させることができました。 このアルゴリズムは質問応答システムに基づいており、新しいビジネス要件に従って在庫カテゴリを迅速に追加できます。

このチームは、審査員の判断により上位チームに選ばれただけでなく、「Digital Tops 2019」コンテストでも優勝しました。 これは、ビジネスや政府機関の効率を向上させるだけでなく、個人の生産性を向上させるための IT ツールを作成するロシアの開発者のためのコンテストです。 私たちのチームが学生部門で優勝しました。

学生たちはプロジェクトをさらに発展させるための大きな計画を持っています。次のようなものです。

• メールサービスとの統合。
• 画像解析システムの導入。
• 幅広い層に向けたプロジェクトを立ち上げる。

プロジェクトチーム: マキシム・エルマコフ、デニス・ジノヴィエフ、ニキータ・ルビノフ。

それとは別に、学期を通して学生と協力したMail.ruグループのメンターによって認められたXNUMXつのチームについてお話ししたいと思います。 プロジェクトを選択する際には、プロジェクトの複雑さ、実装、チームワークに特に注意が払われました。

プロジェクト「Mail.ruタスク」

このプロジェクトは審査員と指導者の両方から注目されました。

「Mail.ru Tasks」は、同社が開発したToDoリストを管理するための初の独立したサービスである。 今後数か月以内に、Mail.ru カレンダーのタスク リストがタスクに置き換えられ、プロジェクトがすべてのユーザーに対して有効になった後、Mail.ru モバイルおよび Web メールに統合されます。

このプロジェクトは、オフライン ファーストおよびモバイル ファーストのアプローチを使用して実装されました。 つまり、いつでも、どこでも、どんなものでも Web アプリケーションを使用できます。 インターネット アクセスは関係ありません。データは保存され、同期されます。 利便性を高めるために、ブラウザからアプリケーションを「インストール」すると、ネイティブ アプリケーションのように見えます。

スマートフードスキャナー

食料品店では、食品が自分に適しているかどうか、どの程度安全で健康的であるかをすぐに判断できるとは限りません。 食事制限がある場合、さまざまなアレルギーがある場合、またはダイエット中である場合、状況はさらに複雑になります。 Foodwise Android アプリを使用すると、製品のバーコードをスキャンして、その価値があるかどうかを簡単に確認できます。
これを使って。

アプリケーションには、「プロフィール」、「カメラ」、「履歴」の XNUMX つの主要セクションがあります。

「プロフィール」では好みを設定します。「成分」セクションでは、データベースに含まれる 60 の成分のいずれかを食事から除外し、E サプリメントに関する情報を読むことができます。 「グループ」を使用すると、材料のブロック全体を一度に除外できます。 たとえば、「ベジタリアン」を指定すると、肉を含むすべての製品が赤色で強調表示されます。

「カメラ」セクションには、バーコードのスキャンと野菜と果物の認識の XNUMX つのモードがあります。 バーコードをスキャンすると、製品に関するすべての情報が得られます。 除外した成分は赤色で強調表示されます。

以前にスキャンしたすべての製品は履歴に保存されます。 このセクションにはテキスト検索と音声検索が装備されています。

果物や野菜の認識モードを使用すると、その栄養価とエネルギー値に関する情報を取得できます。 たとえば、リンゴ 25 個には約 XNUMX グラムが含まれています。
炭水化物は、低炭水化物ダイエットをしている人には受け入れられません。

アプリケーションは Kotlin で書かれており、「カメラ」は ML Kit を使用してバーコードをスキャンし、果物や野菜を識別します。 バックエンドは、データベースを備えた API サーバー、
ここには、60 の製品の 000 の成分と組成、および Python と Tensorflow で書かれたニューラル ネットワークが保存されています。

プロジェクトチーム: アルチョム・アンドリュホフ、クセニア・グラザチェワ、ドミトリー・サルマン。

拡張現実を使ったギフト販売サービス

誰もが人生で少なくとも一度は象徴的な贈り物を受け取ったことがあります。 多くの場合、人々にとっては、受け取る贈り物よりも注目を集めているという事実の方が重要です。 そのような贈り物は有益ではありませんが、その生産と廃棄は地球の性質に悪影響を及ぼします。 このようにして、プロジェクトの作成者は、拡張現実を使用してギフトを販売するサービスを作成するというアイデアを思いつきました。

このアイデアの妥当性をテストするために、私たちは調査を実施しました。 回答者の82％がプレゼント選びに悩んでいると回答した。 回答者の 57% にとって、選択する際の主な困難は、自分のギフトが使用されないのではないかという不安でした。 78% の人々が環境問題を解決するために変化する準備ができています。

著者らは次の XNUMX つのテーゼを提唱しました。

1. ギフトは仮想世界に住んでいます。
2. 場所をとりません。
3. いつも近く。

Web 上に拡張現実を実装するために、著者らは AR.js ライブラリを選択しました。これは XNUMX つの主要な部分で構成されます。

• XNUMX つ目は、A-Frame または Three.js を使用してカメラ ストリーム上にグラフィックスを描画する役割を果たします。
• XNUMX 番目の部分は ARToolKit で、カメラ出力ストリーム内のマーカー (印刷または別のデバイスの画面に表示できる特殊文字) を認識します。 マーカーはグラフィックを配置するために使用されます。 ARToolKit が存在すると、AR.js を使用してマーカーのない拡張現実を作成することはできません。

AR.js には多くの落とし穴が隠されています。 たとえば、A-Frame と併用すると、サイト全体のスタイルが「壊れる」可能性があります。 したがって、作成者は AR.js + Three.js の「バンドル」を使用し、いくつかの問題の解決に役立ちました。 そして、Three.js に基づいた AR.js をプロジェクト Web サイトが記述されている React に埋め込むには、AR-Test-2 リポジトリを作成する必要がありました (https://github.com/denisstasyev/AR-Test-2)、Three.js に基づいて AR.js を使用するための別の React コンポーネントを実装します。 拡張現実と 3D (カメラのないデバイスの場合) でのモデルの表示が実装されました。

しかし、その後、ユーザーがマーカーとは何か、そしてその使用方法を理解していないことが判明しました。 そこで、著者らはテクノロジーに切り替えました。 、現在 Google によって積極的に開発されています。 ARKit (iOS) または ARCore (Android) を使用して、マーカーなしで AR でモデルをレンダリングします。 このテクノロジーは Three.js に基づいており、3D モデル ビューアが含まれています。 プログラムの使いやすさは大幅に向上しましたが、拡張現実を表示するには、iOS 12 以降を搭載したデバイスが必要です。

このプロジェクトは現在 (https://e-gifts.site/demo）で、最初のプレゼントを受け取ることができます。

プロジェクトチーム: デニス・スタシエフ、アントン・チャドフ。

私たちの教育プロジェクトについて詳しくは、こちらをご覧ください。 このリンク。 チャンネルにもっと頻繁にアクセスしてください テクノストリーム、プログラミング、開発、その他の分野に関する新しい教育ビデオが定期的に表示されます。

出所： habr.com