個人開発でAIのAPIコストが青天井にならないようにやったこと

AIに自由記述を判定させるタイプのサービスは、柔軟な分だけ「想定外の使われ方をすると、費用が跳ね上がるリスク」も背負うことになります。この記事では、個人開発の立場でどんな対策を講じたか、考え方ベースでまとめておきます。

そもそもなぜ怖いのか

固定のロジックで動くサービスと違い、AIを都度呼び出す仕組みは、アクセスが増えるほどそのままAPI利用料が増えていきます。しかも、想定していない使われ方（例えば同じ入力を何度も繰り返し送る、意図的に長いやり取りを続けるなど）をされると、想定より大きくコストが膨らむことがあります。個人開発でAIサービスを公開している人の間で、高額な請求に驚いたという話を耳にしたこともあり、他人事ではないと感じて対策を見直しました。

講じた対策（考え方ベース）

AIの「考える量」を必要最小限に絞る
AIモデルの中には、応答の前にどれだけ内部で思考するかを調整できるものがあります。今回のようなテンポの速いやり取りでは、必要以上に思考させても体験が良くなるわけではないので、思考量を抑える設定にしました。

エラー時に無限リトライしない仕組みを入れる
APIの利用量が一時的に上限に達した場合、何も考えずにリトライを繰り返す実装だと、それ自体がさらに負荷とコストを積み増してしまいます。そうした状態を検知したら、リトライを重ねるのではなく、いったんユーザーに分かりやすく状況を伝えて待ってもらう形にしました。

本来カウントすべきでない試行が紛れ込んでいないか見直す
プレイ回数の集計ロジックを見直したところ、広告視聴やログインなどの「壁」でブロックされた試行まで、実際のプレイ回数としてカウントされてしまっていた箇所がありました。これでは実態より水増しされた数字を見て判断することになるので、カウントのタイミングを実際にAIを呼び出したタイミングに揃え直しました。

まとめ

AIを使ったサービスは、作って終わりではなく「想定外の使われ方をされてもコストが破綻しない設計」まで含めて考える必要があると実感しました。個人開発でAI APIを使う人にとって、何かの参考になれば幸いです。