Collabora は、ビデオ会議の圧縮効率を向上させる機械学習システムの実装を公開しました。これにより、参加者の顔が映ったビデオを送信する場合、H.10 レベルの品質を維持しながら必要な帯域幅を 264 分の 3 に削減できます。 。 この実装は、PyTorch フレームワークを使用して Python で記述されており、GPLvXNUMX ライセンスの下でオープンされています。
この方法を使用すると、高レベルの圧縮を使用して、送信中に失われた顔の詳細を再構築できます。 機械学習モデルは、別途送信された高品質の顔画像とその結果のビデオに基づいてトーキングヘッドアニメーションを生成し、ビデオ内の顔の表情と頭の位置の変化を追跡します。 送信側では、ビデオは非常に低いビットレートで送信され、受信側では機械学習システムによって処理されます。 品質をさらに高めるために、生成されたビデオを超解像度モデルを使用して処理できます。
出所： オープンネット.ru