AB テスト

概要

はじめに

A/B テストにより、広告主は X 上でリーチしているユーザーをセグメント化し、キャンペーンパフォーマンスを最適化する最良の方法を理解して、マーケティング戦略に反映させるための学びを得ることができます。これらのセグメント(ユーザーグループスプリット)はランダム化され、互いに排他的です。ランダム化により、結果に影響する要因は等しく分布します。つまり、グループ間や期待される行動に本質的な違いは存在しません。そのため、あるユーザーグループにのみ 1 つのバリエーションを適用すれば、キャンペーンパフォーマンスの差分をそのバリエーションによるものと帰することができます。一度に複数のバリエーションをテストすることも可能ですが、一度に 1 つのバリエーションのみをテストすることを強く推奨します。これにより、観察されたキャンペーンパフォーマンスの差分の要因を切り分けられます。バリエーションはキャンペーンレベルで設定します。たとえば、広告主が新しいクリエイティブの有効性をテストしたい場合、クリエイティブのみが異なる 2 つの同一のキャンペーンを作成する必要があります。将来的には line item レベルでのバリエーションをサポートする予定です。

ユースケース

A/B テストは、(1) X 上で何が最も効果的かを把握して投資を最適化したいパフォーマンス顧客向けの最適化ユースケース、および (2) 学びをマーケティング戦略に反映したいブランド広告主向けの学習ユースケースを支援するために最も多く使われます。 API は、以下を含むあらゆるキャンペーン変数の A/B テストをサポートします。

クリエイティブ
ターゲティング
Bid type
Bid unit

A/B テスト

A/B テストにより、広告主は X 上でリーチしているユーザーをセグメント化し、キャンペーンパフォーマンスを最適化する最良の方法を理解して、マーケティング戦略に反映させるための学びを得ることができます。これらのセグメント(ユーザーグループスプリット)はランダム化され、互いに排他的です。ランダム化により、結果に影響する要因は等しく分布します。つまり、グループ間や期待される行動に本質的な違いは存在しません。そのため、あるユーザーグループにのみ 1 つのバリエーションを適用すれば、キャンペーンパフォーマンスの差分をそのバリエーションによるものと帰することができます。一度に複数のバリエーションをテストすることも可能ですが、一度に 1 つのバリエーションのみをテストすることを強く推奨します。これにより、観察されたキャンペーンパフォーマンスの差分の要因を切り分けられます。バリエーションは、キャンペーンレベルまたは ad group レベルで設定できます。ad group は Ads API では line item を通じて設定します。たとえば ad group レベルでのバリエーションの例として、広告主が新しいクリエイティブの有効性をテストしたい場合、クリエイティブのみが異なる 2 つの同一の ad group を持つ 1 つのキャンペーンを作成します。

ユースケース

クリエイティブ
ターゲティング
Bid type
Bid unit

属性

A/B テストはネスト構造として表現されます。A/B テスト自体のトップレベルフィールドと、それぞれが記述用フィールドのセットを持つユーザーグループオブジェクトの配列があります。概要として、すべての A/B テストには以下の情報を含める必要があります。

テスト期間(start_time および end_time フィールドで表現)
スプリットが行われるレベル(entity_type フィールドで表現)
少なくとも 2 つ(最大 30 個)のユーザーグループ。それぞれ user_groups 配列内のオブジェクトとして表現

各ユーザーグループには、必ず以下の情報を含める必要があります。

当該ユーザーグループに割り当てるユーザーの割合(size フィールドで表現)
当該ユーザーグループのユーザープールを構成するキャンペーン ID / line item ID(entity_ids 配列で表現)

任意で、A/B テストおよびユーザーグループに name および description の値を設定できます。バリデーションルールやその他の制約に関する情報は下記を参照してください。 ID や作成日時などのその他メタデータも含まれますが、これらは X によって自動設定されます。キャンペーンレベル向けの A/B テストエンティティ例を以下に示します。

Example response

{
  "created_at": "2020-12-01T00:00:00Z",
  "created_by": {
    "user_id": "756201191646691328",
    "username": "apimctestface"
  },
  "deleted": false,
  "description": "documentation example",
  "end_time": "2020-12-05T01:00:00Z",
  "entity_type": "CAMPAIGN",
  "id": "hr7l0",
  "name": "first AB test",
  "start_time": "2020-12-01T01:00:00Z",
  "status": "SCHEDULED",
  "user_groups": [
    {
      "id": "p1bcx",
      "name": "first group",
      "description": null,
      "size": "50.0",
      "entity_ids": [
        "f2qcw",
        "f2tht"
      ]
    },
    {
      "id": "p1bcy",
      "name": "second group",
      "description": "second AB test group",
      "size": 50,
      "entity_ids": [
        "f2rqi",
        "f2tws"
      ]
    }
  ],
  "updated_at": "2020-12-01T00:00:00Z",
  "updated_by": {
    "user_id": "756201191646691328",
    "username": "apimctestface"
  }
}

line item レベル向けの A/B テストエンティティ例を以下に示します。

Example response

{
   "created_by":{
      "user_id":"756201191646691328",
      "username":"apimctestface"
   },
   "name":"Test2e",
   "start_time":"2022-08-15T00:00:00Z",
   "updated_by":{
      "user_id":"756201191646691328",
      "username":"apimctestface"
   },
   "description":"My Second AB test",
   "entity_type":"LINE_ITEM",
   "end_time":"2022-08-30T00:00:00Z",
   "id":"1ul",
   "user_groups":[
      {
         "name":"first group",
         "size":"50.0",
         "description":"first group description",
         "entity_ids":[
            "ij9dh"
         ],
         "id":"4xe"
      },
      {
         "name":"second group",
         "size":"50.0",
         "description":"second group description",
         "entity_ids":[
            "ihng8"
         ],
         "id":"4xf"
      }
   ],
   "status":"SCHEDULED",
   "created_at":"2022-08-11T00:10:50Z",
   "updated_at":"2022-08-11T00:10:50Z",
   "deleted":false
}

使用方法

以下のサブセクションでは、A/B テストの作成と更新を説明します。読み取りと削除は、他の Ads API エンドポイントと同じように動作します。

作成

A/B テストは POST accounts/:account_id/ab_tests エンドポイントを使って作成します。このエンドポイントは JSON POST ボディのみを受け付けます。Content-Type は application/json に設定する必要があります。広告主が 2 つ以上のキャンペーンを設定した後、A/B テストを作成できます。上述のとおり、A/B テストには、テスト期間、スプリットレベル、少なくとも 2 つのユーザーグループを必ず含める必要があります。各ユーザーグループは、割り当てるユーザーの割合と、そのユーザープールを構成するキャンペーン ID を宣言する必要があります。それぞれの詳細については以下を参照してください。テスト期間:

start_time と end_time の値は
- (A/B テストが作成される時点から見て)未来である必要がある
- キャンペーン/line item のフライト日程と重複する必要がある
テストは、アプリベース以外のキャンペーンでは少なくとも 1 日、アプリベースのキャンペーンでは少なくとも 5 日続く必要がある

スプリットレベル:

entity_type は CAMPAIGN または LINE_ITEM に設定できる

ユーザーグループ:

各ユーザーグループは user_groups 配列内のオブジェクトとして表される
- 最低 2 つのユーザーグループが必要
- 最大 30 個のユーザーグループが許可される
各ユーザーグループの size は、1.00 から 99.00 の数値の文字列表現で設定する
- 注意: オブジェクト全体 の size 値の合計は 100.00 になる必要があります
キャンペーン ID は、各ユーザーグループの entity_ids 配列で指定する

任意で、A/B テストや 1 つ以上のユーザーグループに name および description を設定できます。以下のリクエストは、4 日間続くキャンペーンレベルの A/B テストを、各グループに 50% のユーザーを含む 2 つのユーザーグループとともに作成します。最初のユーザーグループはキャンペーン f2qcw と f2tht に基づいており、2 つめのユーザーグループはキャンペーン f2rqi と f2tws に基づいています。このリクエストではエンティティの一部の箇所に名前と説明も追加しています。 twurl -X POST -H ads-api.x.com “/8/accounts/18ce54d4x5t/ab_tests” -d ’{“end_time”: “2020-12-05T01:00:00Z”, “entity_type” : “CAMPAIGN”, “start_time”: “2020-12-01T01:00:00Z”, “user_groups”: [{“entity_ids”: [“f2qcw”, “f2tht”], “size”: “50.00”, “name”: “first group”},{“entity_ids”: [“f2rqi”, “f2tws”], “size”: “50.00”, “name”: “second group”, “description”: “second AB test group”}], “name”: “first AB test”, “description”: “documentation example”}’

Example response

twurl -X POST -H ads-api.x.com "/8/accounts/18ce54d4x5t/ab_tests" -d '{"end_time": "2020-12-05T01:00:00Z", "entity_type" : "CAMPAIGN", "start_time": "2020-12-01T01:00:00Z", "user_groups": [{"entity_ids": ["f2qcw", "f2tht"], "size": "50.00", "name": "first group"},{"entity_ids": ["f2rqi", "f2tws"], "size": "50.00", "name": "second group", "description": "second AB test group"}], "name": "first AB test", "description": "documentation example"}'

{
  "request": {
    "params": {
      "account_id": "18ce54d4x5t",
      "end_time": "2020-12-05T01:00:00Z",
      "entity_type": "CAMPAIGN",
      "start_time": "2020-12-01T01:00:00Z",
      "user_groups": [
        {
          "entity_ids": [
            "f2qcw",
            "f2tht"
          ],
          "size": "50.0",
          "name": "first group"
        },
        {
          "entity_ids": [
            "f2rqi",
            "f2tws"
          ],
          "size": "50.0",
          "name": "second group",
          "description": "second AB test group"
        }
      ],
      "name": "first AB test",
      "description": "documentation example"
    }
  },
  "data": {
    "created_at": "2020-12-01T00:00:00Z",
    "created_by": {
      "user_id": "756201191646691328",
      "username": "apimctestface"
    },
    "deleted": false,
    "description": "documentation example",
    "end_time": "2020-12-05T01:00:00Z",
    "entity_type": "CAMPAIGN",
    "id": "hr7l0",
    "name": "first AB test",
    "start_time": "2020-12-01T01:00:00Z",
    "status": "SCHEDULED",
    "user_groups": [
      {
        "id": "p1bcx",
        "name": "first group",
        "description": null,
        "size": "50.0",
        "entity_ids": [
          "f2qcw",
          "f2tht"
        ]
      },
      {
        "id": "p1bcy",
        "name": "second group",
        "description": "second AB test group",
        "size": "50.0",
        "entity_ids": [
          "f2rqi",
          "f2tws"
        ]
      }
    ],
    "updated_at": "2020-12-01T00:00:00Z",
    "updated_by": {
      "user_id": "756201191646691328",
      "username": "apimctestface"
    }
  }
}

line item レベルの A/B テストについて キャンペーンレベルと line item レベルでの A/B テストの主な違いは entity_type です。line item レベルの A/B テストでは ‘entity_type’ = ‘LINE_ITEM’ に設定する必要があります。これは、以下に示すすでに作成された A/B テストに対するすべてのアクションにも適用されます。要件:

A/B テスト対象キャンペーンのすべての line item が、スプリットテストに含まれている必要があります。
line item レベルでは等分割のみが許可されます。
1 つのスプリットテストで許可されるユーザーグループ数(line item 数)は 5 以下である必要があります。
ユーザーグループあたり 1 つの line item のみです。

更新

A/B テストは PUT accounts/:account_id/ab_tests/:ab_test_id エンドポイントを使って更新します。このエンドポイントはリクエストで JSON blob を送信する必要があります。Content-Type

Getting Started

Products

Fundamentals

Partners & Customers

Resources

AB テスト

概要

はじめに

ユースケース

A/B テスト

ユースケース

属性

使用方法

作成

更新

​概要

​はじめに

​ユースケース

​A/B テスト

​ユースケース

​属性

​使用方法

​作成

​更新

概要

はじめに

ユースケース

A/B テスト

ユースケース

属性

使用方法

作成

更新