SelfReason AI Gateway

1回の実装で、用途に応じて最適な実行先を選べます。通常はローカル優先、必要なときだけクラウドへエスカレーションし、障害時は自動フォールバックで安定運用できます。

このゲートウェイを作った理由

  • ローカルとクラウドを分けて実装しなくていい、OpenAI互換の単一インターフェース
  • プライバシー重視・低遅延の処理をローカル優先で実行
  • 私たちのクライアントアプリ(Web、Desktop、Android、拡張機能、Bot)でも同じゲートウェイを利用
  • セッション、プロンプト、ツール、スキーマを複数プラットフォームで統一
  • モデル障害時に自動で切り替え、ユーザー影響を最小化

できること

ルーティング

  • local: SelfReasonのオンデバイス実行を強制
  • auto: まずローカル、制約がある場合のみクラウドへ切り替え
  • cloud: 大規模コンテキストや複雑推論をクラウドで処理
  • fallback: バックアップモデルを定義して可用性を向上

共通の呼び出し契約

  • OpenAI互換のチャット呼び出しパターン
  • リアルタイムストリーミング
  • ツール呼び出しによる業務連携
  • 型付きJSONの構造化出力
  • レイテンシやルート理由の可観測性

実装イメージ

from selfreason import AIClient

client = AIClient(
	api_key='YOUR_SELFREASON_KEY',
	base_url='https://YOUR_GATEWAY_BASE/v1'
)

stream = client.responses.stream(
	model='auto',
	messages=[
		{'role': 'system', 'content': 'You are a concise assistant.'},
		{'role': 'user', 'content': 'Summarize this ticket and suggest next steps.'},
	],
	route='auto',
	fallbacks=[
		{'model': 'cloud-balanced'}
	],
	metadata={
		'app': 'support-dashboard'
	}
)

for event in stream:
	if event.type == 'token':
		print(event.text, end='')

次に読む

必要なモデルや機能があれば、リクエストを送ってください。SelfReason AI Gateway の改善に反映します。