仕事概要
Frictio は「営業活動の摩擦をゼロにする」をミッションに掲げる AI-Native CRM を開発しています。Frictio では、サービスごとに定義された Skill / Tool を AI エージェントが自律的に呼び出して業務を遂行します。Skill / Tool の種類と実行量が増え続ける今、「どのタスクに、どのモデルを、どの推論クラスで、いくらのコストで割り当てるか」を、データとベンチマークで意思決定できる状態にすることが事業の競争力に直結しています。
本ポジションでは、その心臓部である LLM コール基盤・推論ルーティング・評価(ベンチマーク)基盤・ジョブオーケストレーションを、ゼロから設計・実装・運用していただきます。既製のマネージドサービスを繋ぐ仕事ではなく、自社の推論経済性そのものを設計する仕事です。
AI-Native プロダクトの「推論の経済性と品質」を技術で支えるという、これからの時代の AI Platform の中核を担えます。
【職務内容】
・複数サービス・複数モデル(商用 API / セルフホスト OSS モデル)を統合的に扱う推論ゲートウェイの設計・実装
・vLLM 等の推論エンジンを用いたセルフホスト推論環境の構築、チューニング(KV キャッシュ / Prefix Caching、量子化、バッチング等)
・Skill / Tool ごとのタスク性能特性の計測と、モデル ⇄ タスクのルーティングポリシーの設計・実装
・推論クラス(リアルタイム / ニアリアルタイム / 長期間バッチ Job)の定義と割り当て設計
・上位モデルから小型モデルへの置き換え、蒸留を含むコスト最適化ループの実装と、「品質を落とさずにいくら下げられたか」の継続的な可視化
・本番の Skill / Tool 実行ログから評価データセット(Golden Set)を継続的に生成するパイプラインの設計 ・オフライン評価・オンライン評価の両輪設計(ルールベース評価、LLM-as-a-Judge、人手アノテーション、A/B・シャドー実行)
・リグレッションゲートの構築:モデル / プロンプト / Skill 定義の変更を CI で自動評価し、昇格(draft → shadow → active)の判断を仕組みに落とす
・評価指標そのものの妥当性検証(指標のハッキング耐性、人手判断との相関の追跡)
・定期実行 Job / イベント駆動 Job を統一的に扱う宣言的なジョブ制御平面と、リコンシリエーション型の制御ループの実装 ・障害検知・自動リトライ・部分再実行・冪等性設計・バックプレッシャ制御
・トレース・メトリクス・コスト・品質を同一の軸で追える可観測性の設計と、AI 推論コスト(トークン単位の課金トレース)の可視化・管理
