リアルタイムに返信を管理する
hide replies エンドポイントを使うと、無関係である可能性が非常に高い返信をユーザーが非表示にできるワークフローを構築できます。 有用なアプリはしばしば複数のテクノロジーを組み合わせ、ユーザーに価値を提供します。このページでは、Perspective API を使って返信を非表示にする方法を示します。この API は、有害なコメントを検出するために Google 内のユニットである Jigsaw がトレーニングした AI です。アプリケーションロジックは次のように動作します:- ユーザーの投稿を読み、返信を非表示・再表示する許可をユーザーにリクエストします。
- Account Activity API を使用して受信する返信を検出します。
- Perspective API に対して、コメントが過去に見た有害コメントとどの程度似ているかを示す「スコア」(0 と 1 の間の数値)を返すよう要求します(Perspective はサービスに送信されたテキストを保存しません)。
- アルゴリズムのスコアが非常に高い場合、hide replies を呼び出します。
透明性を追求する
Perspective は実際の投稿でトレーニングされていないため、特定の言語のニュアンスによっては、ユーザーが非表示のままにしたくない返信をアプリが非表示にする可能性があります。アプリの設計に使用するテクノロジーやアプローチにかかわらず、ユーザーがアプリで何が非表示にされたかを理解でき、変更できるようにするために可能な限りの努力をしてください。- 最善のオプションは、常にユーザーを信頼し、決定に対する完全な主導権を与えることです。つまり、ユーザーエクスペリエンスには、ユーザーの代わりにアプリが実行した任意のアクションを取り消すコントロールを含めるべきです。
- AI を使用する場合、アプリは投稿を検出・非表示にするために非常に高い信頼度のしきい値を使用する必要があります。
- すべての人が同じ言葉を使うわけではないため、アプリはバイアスを回避するように設計すべきです。誤検知を招く可能性のある再意味付けされた言葉やスラングに注意してください。
- AI をトレーニングする場合、X でよく使われる言葉を密接に反映するモデルの採用を検討してください。