猫の中のサイ - Kopycat エミュレーターでファームウェアを実行する

会議の一環として 0x0A DC7831 DEF CON ニジニ・ノヴゴロド 16 月 XNUMX 日、バイナリ コード エミュレーションの基本原理と、独自の開発であるハードウェア プラットフォーム エミュレータに関するレポートを発表しました。 模倣者.

この記事では、エミュレータでデバイス ファームウェアを実行し、デバッガとの対話を示し、ファームウェアの小規模な動的分析を実行する方法について説明します。

背景

遠い昔、遥か彼方の銀河系で

数年前、私たちの研究室では、デバイスのファームウェアを調査する必要がありました。 ファームウェアは圧縮され、ブートローダーで解凍されました。 彼はこれを非常に複雑な方法で行い、メモリ内のデータを数回移動しました。 そして、ファームウェア自体が周辺機器と積極的に対話します。 これらはすべて MIPS コア上にあります。

客観的な理由から、利用可能なエミュレータは私たちには適していませんでしたが、それでもコードを実行したいと考えていました。 そこで、最小限の機能を備え、メイン ファームウェアを解凍できる独自のエミュレータを作成することにしました。 試してみたらうまくいきました。 私たちは、メインのファームウェアも実行する周辺機器を追加したらどうなるかと考えました。 それほど痛みはありませんでしたが、うまくいきました。 私たちは考え直して、本格的なエミュレータを作成することにしました。

その結果生まれたのが、コンピュータ システム エミュレータです。 模倣者.

なぜコピーキャットなのか？

言葉遊びがあります。

1. 模倣者 (英語、名詞 [ˈkɒpɪkæt]) - 模倣者、模倣者
2. cat (英語、名詞 [ˈkæt]) - 猫、猫 - プロジェクトの作成者の XNUMX 人のお気に入りの動物
3. 文字「K」は Kotlin プログラミング言語から来ています

模倣者

エミュレータを作成するとき、非常に具体的な目標が設定されました。

• 新しい周辺機器、モジュール、プロセッサ コアを迅速に作成する機能。
• さまざまなモジュールから仮想デバイスを組み立てる機能。
• 任意のバイナリ データ (ファームウェア) を仮想デバイスのメモリにロードする機能。
• スナップショット (システム状態のスナップショット) を操作する機能。
• 内蔵デバッガを通じてエミュレータと対話する機能。
• 開発に最適な現代言語。

その結果、実装、バス アーキテクチャ (モジュールが仮想データ バスを介して相互に通信する場合)、デバイス記述形式として JSON、デバッガーとの対話用プロトコルとして GDB RSP が実装に選択されました。

開発は 86 年余りにわたって行われており、現在も積極的に進行中です。 この間に、MIPS、x850、VXNUMXES、ARM、および PowerPC プロセッサ コアが実装されました。

プロジェクトは成長を続けており、広く一般に公開する時期が来ました。 プロジェクトの詳細については後ほど説明しますが、ここでは Kopycat の使用に焦点を当てます。

最もせっかちな方のために、エミュレータのプロモーション バージョンを次のサイトからダウンロードできます。 リンク.

エミュレータ内の Rhino

以前、SMARTRHINO-2018 カンファレンスに向けて、リバース エンジニアリング スキルを教えるためにテスト デバイス「Rhinoceros」が作成されたことを思い出してください。 静的ファームウェア解析のプロセスについては、「 この記事.

次に、「スピーカー」を追加し、エミュレータでファームウェアを実行してみましょう。

私たちは、必要があります。
1) Java 1.8
2) Pythonとモジュール うん エミュレータ内で Python を使用します。 Windows 用の WHL モジュール Jep を構築できます ここからダウンロード.

Windowsの場合：
1) com0com
2) PUTTY

Linuxの場合:
1) ソカット

Eclipse、IDA Pro、または Radare2 を GDB クライアントとして使用できます。

それはどのように動作しますか？

エミュレータでファームウェアを実行するには、実際のデバイスに相当する仮想デバイスを「アセンブル」する必要があります。

実際のデバイス (「rhino」) はブロック図で示されます。

エミュレータはモジュール構造になっており、最終的な仮想デバイスは JSON ファイルで記述できます。

JSON 105行

{
  "top": true,

  // Plugin name should be the same as file name (or full path from library start)
  "plugin": "rhino",

  // Directory where plugin places
  "library": "user",

  // Plugin parameters (constructor parameters if jar-plugin version)
  "params": [
    { "name": "tty_dbg", "type": "String"},
    { "name": "tty_bt", "type": "String"},
    { "name": "firmware", "type": "String", "default": "NUL"}
  ],

  // Plugin outer ports
  "ports": [  ],

  // Plugin internal buses
  "buses": [
    { "name": "mem", "size": "BUS30" },
    { "name": "nand", "size": "4" },
    { "name": "gpio", "size": "BUS32" }
  ],

  // Plugin internal components
  "modules": [
    {
      "name": "u1_stm32",
      "plugin": "STM32F042",
      "library": "mcu",
      "params": {
        "firmware:String": "params.firmware"
      }
    },
    {
      "name": "usart_debug",
      "plugin": "UartSerialTerminal",
      "library": "terminals",
      "params": {
        "tty": "params.tty_dbg"
      }
    },
    {
      "name": "term_bt",
      "plugin": "UartSerialTerminal",
      "library": "terminals",
      "params": {
        "tty": "params.tty_bt"
      }
    },
    {
      "name": "bluetooth",
      "plugin": "BT",
      "library": "mcu"
    },

    { "name": "led_0",  "plugin": "LED", "library": "mcu" },
    { "name": "led_1",  "plugin": "LED", "library": "mcu" },
    { "name": "led_2",  "plugin": "LED", "library": "mcu" },
    { "name": "led_3",  "plugin": "LED", "library": "mcu" },
    { "name": "led_4",  "plugin": "LED", "library": "mcu" },
    { "name": "led_5",  "plugin": "LED", "library": "mcu" },
    { "name": "led_6",  "plugin": "LED", "library": "mcu" },
    { "name": "led_7",  "plugin": "LED", "library": "mcu" },
    { "name": "led_8",  "plugin": "LED", "library": "mcu" },
    { "name": "led_9",  "plugin": "LED", "library": "mcu" },
    { "name": "led_10", "plugin": "LED", "library": "mcu" },
    { "name": "led_11", "plugin": "LED", "library": "mcu" },
    { "name": "led_12", "plugin": "LED", "library": "mcu" },
    { "name": "led_13", "plugin": "LED", "library": "mcu" },
    { "name": "led_14", "plugin": "LED", "library": "mcu" },
    { "name": "led_15", "plugin": "LED", "library": "mcu" }
  ],

  // Plugin connection between components
  "connections": [
    [ "u1_stm32.ports.usart1_m", "usart_debug.ports.term_s"],
    [ "u1_stm32.ports.usart1_s", "usart_debug.ports.term_m"],

    [ "u1_stm32.ports.usart2_m", "bluetooth.ports.usart_m"],
    [ "u1_stm32.ports.usart2_s", "bluetooth.ports.usart_s"],

    [ "bluetooth.ports.bt_s", "term_bt.ports.term_m"],
    [ "bluetooth.ports.bt_m", "term_bt.ports.term_s"],

    [ "led_0.ports.pin",  "u1_stm32.buses.pin_output_a", "0x00"],
    [ "led_1.ports.pin",  "u1_stm32.buses.pin_output_a", "0x01"],
    [ "led_2.ports.pin",  "u1_stm32.buses.pin_output_a", "0x02"],
    [ "led_3.ports.pin",  "u1_stm32.buses.pin_output_a", "0x03"],
    [ "led_4.ports.pin",  "u1_stm32.buses.pin_output_a", "0x04"],
    [ "led_5.ports.pin",  "u1_stm32.buses.pin_output_a", "0x05"],
    [ "led_6.ports.pin",  "u1_stm32.buses.pin_output_a", "0x06"],
    [ "led_7.ports.pin",  "u1_stm32.buses.pin_output_a", "0x07"],
    [ "led_8.ports.pin",  "u1_stm32.buses.pin_output_a", "0x08"],
    [ "led_9.ports.pin",  "u1_stm32.buses.pin_output_a", "0x09"],
    [ "led_10.ports.pin", "u1_stm32.buses.pin_output_a", "0x0A"],
    [ "led_11.ports.pin", "u1_stm32.buses.pin_output_a", "0x0B"],
    [ "led_12.ports.pin", "u1_stm32.buses.pin_output_a", "0x0C"],
    [ "led_13.ports.pin", "u1_stm32.buses.pin_output_a", "0x0D"],
    [ "led_14.ports.pin", "u1_stm32.buses.pin_output_a", "0x0E"],
    [ "led_15.ports.pin", "u1_stm32.buses.pin_output_a", "0x0F"]
  ]
}

パラメータに注意してください ファームウェア セクション paramsは 仮想デバイスにファームウェアとしてロードできるファイルの名前です。

仮想デバイスとそのメイン オペレーティング システムとの対話は、次の図で表すことができます。

エミュレータの現在のテスト インスタンスには、メイン OS の COM ポートとの対話が含まれます (デバッグ UART および Bluetooth モジュール用の UART)。 これらは、デバイスが接続されている実際のポート、または仮想 COM ポートにすることができます (これには必要なものだけが必要です) com0com/socat).

外部からエミュレータと対話するには、現在 XNUMX つの主な方法があります。

• GDB RSP プロトコル (したがって、このプロトコルをサポートするツールは Eclipse/IDA/radare2 です)。
• 内部エミュレータ コマンド ライン (Argparse または Python)。

仮想COMポート

ターミナル経由でローカル マシン上の仮想デバイスの UART と対話するには、関連付けられた仮想 COM ポートのペアを作成する必要があります。 この例では、XNUMX つのポートはエミュレータによって使用され、XNUMX つ目のポートはターミナル プログラム (PuTTY または screen) によって使用されます。

com0comの使用

仮想 COM ポートは、com0com キット (コンソール バージョン - C:プログラム ファイル (x86)com0comsetupс.exe、 または GUI バージョン - C:プログラム ファイル (x86)com0comsetupg.exe):

チェックボックスをオンにします バッファオーバーランを有効にする それ以外の場合、エミュレータは COM ポートからの応答を待ちます。

socatの使用

UNIX システムでは、仮想 COM ポートは、socat ユーティリティを使用してエミュレータによって自動的に作成されます。これを行うには、エミュレータの起動時にポート名のプレフィックスを指定するだけです。 socat:.

内部コマンド ライン インターフェイス (Argparse または Python)

Kopycat はコンソール アプリケーションであるため、エミュレータには、そのオブジェクトと変数を操作するための XNUMX つのコマンド ライン インターフェイス オプション (Argparse と Python) が提供されます。

Argparse は Kopycat に組み込まれている CLI であり、誰でもいつでも利用できます。

代替の CLI は Python インタープリターです。 これを使用するには、Jep Python モジュールをインストールし、Python で動作するようにエミュレーターを構成する必要があります (ユーザーのメイン システムにインストールされている Python インタープリターが使用されます)。

PythonモジュールJepのインストール

Linux では、Jep は pip 経由でインストールできます。

pip install jep

Windows に Jep をインストールするには、まず Windows SDK と対応する Microsoft Visual Studio をインストールする必要があります。 もう少し簡単にできるようにしました。 WHL ビルド Windows 用 Python の現在のバージョンでは JEP が使用されるため、モジュールは次のファイルからインストールできます。

pip install jep-3.8.2-cp27-cp27m-win_amd64.whl

Jep のインストールを確認するには、コマンド ラインで次を実行する必要があります。

python -c "import jep"

応答として次のメッセージが返されるはずです。

ImportError: Jep is not supported in standalone Python, it must be embedded in Java.

システムのエミュレータ バッチ ファイル内 (コピーキャット.バット - Windowsの場合、 模倣品 - Linux の場合) パラメータのリストへ DEFAULT_JVM_OPTS パラメータを追加する Djava.library.path — インストールされている Jep モジュールへのパスが含まれている必要があります。

Windows の場合、結果は次のような行になるはずです。

set DEFAULT_JVM_OPTS="-XX:MaxMetaspaceSize=256m" "-XX:+UseParallelGC" "-XX:SurvivorRatio=6" "-XX:-UseGCOverheadLimit" "-Djava.library.path=C:/Python27/Lib/site-packages/jep"

Kopycatの起動

エミュレータはコンソール JVM アプリケーションです。 起動は、オペレーティング システムのコマンド ライン スクリプト (sh/cmd) を通じて実行されます。

Windows で実行するコマンド:

binkopycat -g 23946 -n rhino -l user -y library -p firmware=firmwarerhino_pass.bin,tty_dbg=COM26,tty_bt=COM28

socat ユーティリティを使用して Linux で実行するコマンド:

./bin/kopycat -g 23946 -n rhino -l user -y library -p firmware=./firmware/rhino_pass.bin, tty_dbg=socat:./COM26,tty_bt=socat:./COM28

• -g 23646 — GDB サーバーへのアクセスのために開かれる TCP ポート。
• -n rhino — メイン システム モジュール (組み立てられたデバイス) の名前。
• -l user — メインモジュールを検索するライブラリの名前。
• -y library — デバイスに含まれるモジュールを検索するためのパス。
• firmwarerhino_pass.bin — ファームウェア ファイルへのパス。
• COM26 と COM28 は仮想 COM ポートです。

その結果、プロンプトが表示されます Python > （または Argparse >):

18:07:59 INFO [eFactoryBuilder.create ]: Module top successfully created as top
18:07:59 INFO [ Module.initializeAndRes]: Setup core to top.u1_stm32.cortexm0.arm for top
18:07:59 INFO [ Module.initializeAndRes]: Setup debugger to top.u1_stm32.dbg for top
18:07:59 WARN [ Module.initializeAndRes]: Tracer wasn't found in top...
18:07:59 INFO [ Module.initializeAndRes]: Initializing ports and buses...
18:07:59 WARN [ Module.initializePortsA]: ATTENTION: Some ports has warning use printModulesPortsWarnings to see it...
18:07:59 FINE [ ARMv6CPU.reset ]: Set entry point address to 08006A75
18:07:59 INFO [ Module.initializeAndRes]: Module top is successfully initialized and reset as a top cell!
18:07:59 INFO [ Kopycat.open ]: Starting virtualization of board top[rhino] with arm[ARMv6Core]
18:07:59 INFO [ GDBServer.debuggerModule ]: Set new debugger module top.u1_stm32.dbg for GDB_SERVER(port=23946,alive=true)
Python >

IDA Pro との対話

テストを簡素化するために、IDA での分析用のソース ファイルとして Rhino ファームウェアを次の形式で使用します。 ELFファイル (メタ情報はそこに保存されます)。

メタ情報なしでメインファームウェアを使用することもできます。

IDA Pro で Kopycat を起動した後、デバッガー メニューで項目「デバッガを切り替え…「」を選択して「リモート GDB デバッガー」。 次に、接続を設定します: メニュー デバッガ - プロセス オプション…

値を設定します。

• アプリケーション - 任意の値
• ホスト名: 127.0.0.1 (または Kopycat が実行されているリモート マシンの IP アドレス)
• ポート：23946

これで、デバッグ ボタン (F9 キー) が使用可能になります。

これをクリックして、エミュレータのデバッガ モジュールに接続します。 IDA はデバッグ モードになり、追加のウィンドウ (レジスタに関する情報、スタックに関する情報) が利用可能になります。

これで、デバッガーのすべての標準機能を使用できるようになりました。

• 命令の段階的な実行 (ステップイン и ステップオーバー — それぞれ F7 キーと F8 キー)。
• 実行の開始と一時停止。
• コードとデータの両方にブレークポイントを作成します (F2 キー)。

デバッガーに接続することは、ファームウェア コードを実行することを意味するわけではありません。 現在の実行位置はアドレスでなければなりません 0x08006A74 — 機能の開始 Reset_Handler。 リストを下にスクロールすると、関数呼び出しが表示されます。 メイン。 この行 (アドレス) にカーソルを置くことができます。 0x08006ABE)して操作を実行します カーソルまで実行 (F4キー)。

次に、F7 を押して関数に入ります。 メイン.

コマンドを実行すると プロセスを続行 (F9 キー) をクリックすると、ボタン XNUMX つで「お待ちください」ウィンドウが表示されます。 サスペンド:

押すと サスペンド ファームウェア コードの実行は一時停止され、中断されたコード内の同じアドレスから続行できます。

コードの実行を続けると、仮想 COM ポートに接続されている端末に次の行が表示されます。

「状態バイパス」行の存在は、仮想 Bluetooth モジュールがユーザーの COM ポートからデータを受信するモードに切り替わったことを示します。

これで、Bluetooth ターミナル (写真の COM29) で、Rhino プロトコルに従ってコマンドを入力できるようになります。 たとえば、「MEOW」コマンドは文字列「mur-mur」を Bluetooth 端末に返します。

私を完全にエミュレートしてはいけない

エミュレータを構築するとき、特定のデバイスの詳細/エミュレーションのレベルを選択できます。 たとえば、Bluetooth モジュールはさまざまな方法でエミュレートできます。

• デバイスはコマンドの完全なセットで完全にエミュレートされます。
• AT コマンドがエミュレートされ、データ ストリームがメイン システムの COM ポートから受信されます。
• 仮想デバイスは実デバイスへの完全なデータ リダイレクトを提供します。
• 常に「OK」を返す単純なスタブとして。

エミュレータの現在のバージョンでは XNUMX 番目のアプローチが使用されます。つまり、仮想 Bluetooth モジュールが構成を実行し、その後、メイン システムの COM ポートからエミュレータの UART ポートにデータを「プロキシ」するモードに切り替わります。

周辺部の一部が実装されていない場合に備えて、コードを簡単にインストルメンテーションできる可能性を考えてみましょう。 たとえば、DMA へのデータ転送を制御するタイマーが作成されていない場合 (チェックは関数で実行されます) ws2812b_waitにあります 0x08006840)、その場合、ファームウェアは常にフラグがリセットされるのを待ちます。 忙しいにあります 0x200004C4これは DMA データ ラインの占有率を示しています。

フラグを手動でリセットすることで、この状況を回避できます。 忙しい 取り付けた直後。 IDA Pro では、Python 関数を作成してブレークポイントで呼び出し、フラグに値 1 を書き込んだ後にコードにブレークポイント自体を置くことができます。 忙しい.

ブレークポイントハンドラー

まず、IDA で Python 関数を作成しましょう。 メニュー ファイル - スクリプトコマンド...

左側のリストに新しいスニペットを追加し、名前を付けます (例: BPT),
右側のテキストフィールドに、機能コードを入力します。

def skip_dma():
    print "Skipping wait ws2812..."
    value = Byte(0x200004C4)
    if value == 1:
        PatchDbgByte(0x200004C4, 0)
return False

その後、押します ラン そしてスクリプトウィンドウを閉じます。

次に、次のコードに進みましょう。 0x0800688A、ブレークポイントを設定し (F2 キー)、編集します (コンテキスト メニュー) ブレークポイントを編集...)、スクリプト タイプを Python に設定することを忘れないでください。

現在のフラグ値が 忙しい 1 に等しい場合は、関数を実行する必要があります スキップ_dma スクリプト行内:

ファームウェアを実行する場合、ブレークポイント ハンドラー コードのトリガーが IDA ウィンドウに表示されます。 出力 行ごとに Skipping wait ws2812...。 ファームウェアはフラグがリセットされるのを待たなくなります。 忙しい.

エミュレータとの対話

模倣のための模倣では、喜びや喜びが生じる可能性は低いです。 エミュレータが、研究者がメモリ内のデータを確認したり、スレッドの相互作用を確立したりするのに役立つのであれば、さらに興味深いことになります。

RTOS タスク間の対話を動的に確立する方法を示します。 コードが実行中の場合は、まずその実行を一時停止する必要があります。 行事に行くなら bluetooth_task_entry 「LED」コマンドの処理ブランチへ（アドレス 0x080057B8)、最初に何が作成され、その後システム キューに送信されるかを確認できます。 LEDControlQueueHandle 何かのメッセージ。

変数にアクセスするにはブレークポイントを設定する必要があります LEDControlQueueHandleにあります 0x20000624 コードの実行を続けます。

その結果、アドレスで最初にストップが発生します。 0x080057CA 関数を呼び出す前に osMailAlloc、次にアドレスで 0x08005806 関数を呼び出す前に osMailPut、しばらくしてから、アドレスに 0x08005BD4 (関数を呼び出す前に osメール取得)、関数に属します LEDs_task_entry (LED タスク)、つまりタスクが切り替わり、LED タスクが制御を受け取りました。

この簡単な方法で、RTOS タスクが相互に対話する方法を確立できます。

もちろん、実際にはタスクの相互作用はさらに複雑になる可能性がありますが、エミュレーターを使用すると、この相互作用の追跡の手間が軽減されます。

ここで エミュレータの起動と IDA Pro との対話の短いビデオをご覧ください。

Radare2 で起動

Radare2 のような万能ツールを無視することはできません。

r2 を使用してエミュレータに接続するには、コマンドは次のようになります。

radare2 -A -a arm -b 16 -d gdb://localhost:23946 rhino_fw42k6.elf

現在起動可能です (dc) し、実行を一時停止します (Ctrl+C)。

残念ながら、現時点では、r2 にはハードウェア gdb サーバーとメモリ レイアウトの操作時に問題があり、このためブレークポイントとステップが機能しません (コマンド ds）。 この問題がすぐに修正されることを願っています。

Eclipse で実行する

エミュレータを使用するオプションの XNUMX つは、開発中のデバイスのファームウェアをデバッグすることです。 わかりやすくするために、Rhino ファームウェアも使用します。 ファームウェアのソースをダウンロードできます 故に.

セットの Eclipse を IDE として使用します。 STM32用システムワークベンチ.

エミュレータが Eclipse でコンパイルされたファームウェアを直接ロードするには、パラメータを追加する必要があります。 firmware=null エミュレータ起動コマンドに次のように入力します。

binkopycat -g 23946 -n rhino -l user -y modules -p firmware=null,tty_dbg=COM26,tty_bt=COM28

デバッグ構成のセットアップ

Eclipse でメニューを選択します 実行 - デバッグ構成... 開いたウィンドウのセクションで GDB ハードウェアのデバッグ 新しい構成を追加し、「メイン」タブでデバッグ用の現在のプロジェクトとアプリケーションを指定する必要があります。

「デバッガー」タブで、GDB コマンドを指定する必要があります。
${openstm32_compiler_path}arm-none-eabi-gdb

また、GDB サーバーに接続するためのパラメーター (ホストとポート) も入力します。

「スタートアップ」タブで、次のパラメータを指定する必要があります。

• チェックボックスを有効にする 画像を読み込む (アセンブルされたファームウェア イメージがエミュレータにロードされるように);
• チェックボックスを有効にする シンボルをロードする;
• 起動コマンドを追加します。 set $pc = *0x08000004 (PC レジスタをアドレスのメモリの値に設定します) 0x08000004 - アドレスはそこに保存されます リセットハンドラ).

注意、Eclipse からファームウェア ファイルをダウンロードしたくない場合は、オプション 画像を読み込む и コマンドを実行する 示す必要はありません。

[デバッグ] をクリックすると、デバッガー モードで作業できるようになります。

• ステップバイステップのコード実行
  
• ブレークポイントとの対話
  

注意. Eclipse には、うーん...いくつかの癖があります...そして、それらと共存しなければなりません。 たとえば、デバッガの起動時に「"0x0" に使用できるソースがありません」というメッセージが表示された場合は、ステップ コマンド (F5) を実行します。

代わりに、結論の

ネイティブ コードのエミュレーションは非常に興味深いものです。 デバイス開発者は、実際のデバイスを使用せずにファームウェアをデバッグできるようになります。 研究者にとって、これは、デバイスがあっても常に可能であるとは限らない動的コード分析を実行する機会です。

私たちは、便利で適度にシンプルで、セットアップと実行に多くの労力と時間がかからないツールを専門家に提供したいと考えています。

ハードウェア エミュレータを使用した経験についてコメントに書き込んでください。 ぜひご議論ください。ご質問には喜んでお答えいたします。

登録ユーザーのみがアンケートに参加できます。 ログインお願いします。

エミュレータを何に使用しますか?

• ファームウェアを開発（デバッグ）します

• ファームウェアを研究中です

• ゲームを起動します (Dendi、Sega、PSP)

• 他に何か（コメントに書いてください）

7 人のユーザーが投票しました。 2名のユーザーが棄権した。

ネイティブ コードをエミュレートするためにどのソフトウェアを使用しますか?

• QEMU

• ユニコーンエンジン

• プロテウス

• 他に何か（コメントに書いてください）

6 人のユーザーが投票しました。 2名のユーザーが棄権した。

使用しているエミュレータで改善したい点は何ですか?

• スピードが欲しい

• セットアップ/起動を簡単にしたい

• エミュレータと対話するためのオプション (API、フック) がもっと欲しい

• すべてに満足しています

• 他に何か（コメントに書いてください）

8 人のユーザーが投票しました。 1 ユーザーが棄権しました。

出所： habr.com