利用場面・内容・対策といった分類ごとに、ベンチマークの本格的な構築に向け、分科会での設計方針の検討やサンプルデータの整備を進めています。
AIは、その訓練データを通じて、人がもつ社会的バイアスを反映した応答を行う能力を有しています。AIの利用局面が多様化する中、様々な社会的文脈において、AIが差別を行わず、社会性を備えた応答を行うことが可能かを客観的に評価する必要が生じています。本分科会では、法令を根拠とする社会的バイアス評価データの構築を行っています。
AIと行う対話そのものが、ユーザやその周囲に悪影響を及ぼすリスクを扱う分科会です。対話による影響は、本質的にユーザの属性・脆弱性等に依存して変動します。本分科会では子どもを想定ユーザとして、「子供に安心して使わせられるAI」を担保するためのベンチマーク構築を進めています。
フェイクニュースやハルシネーションなどLLMの入出力誤りに対応するため、ベンチマークを構築します。SNS上の偽・誤情報を収集する実データ整備と、正確な事実回答を検証する誤情報QAの合成データ生成を組み合わせ、評価と改善を進めます。
AIの利活用においては、その応用領域に依存した課題が存在します。「分野依存」分科会では、様々な分野における安全評価観点の定義を検討し、分野ごとに特有の論点や、共通して見られる課題を明らかにして、構築されるベンチマークがより多様な分野で役立つものとなるような取り組みを行なっています。
ヘルスケアは特に高い安全性が求められる領域であり、AIの利活用には日本の医療制度や健康に関わる慣習・ガイドライン等の固有の背景の考慮が不可欠です。本サブグループでは、こうした日本特有の状況を反映させた、ヘルスケア分野のベンチマークの構築に取り組んでいます。
日本語の安全性は日本語で測る必要があります。海外ベンチマークだけではカバーされない表記揺れや敬語、実務文脈のロールプレイなど日本語固有の攻撃面を含め、Jailbreakに対するモデルの頑健さを評価するベンチマークを構築します。
AIを介した情報漏洩の中でも、検索ツールを用いたAIによる回答（RAG）における情報漏洩に注目し、ベンチマーク開発を進めています。既に社内用RAGによる情報漏洩などが問題となっており、今後AIへの権限移譲が進んでいく中でこの問題はより起きやすくなると考えています。このような状況下で、実践的な活用を見据えたベンチマークの構築を目指します。
ロボティクス分野におけるAIの安全安心な活用をめざし、AISI事業実証ワーキンググループのテーマ別小委員会として設置されたロボティクスSWGにて、実機ロボットによる実証評価の実施と、AIセーフティ評価観点ガイドや関連する評価手法の開発などを行います。
評価プラットフォーム分科会では、各分科会が作成するベンチマークデータを活用し、LLMの安全性を多面的に評価するためのプラットフォームの設計・構築を進めています。LLMの利用者および開発者が、安全性を容易かつ継続的に評価できる環境の実現を目指し、評価品質と利便性の両立に取り組んでいます。
本分科会は、AIモデルのサイバーセキュリティ能力および関連リスクを客観的に評価するためのベンチマークデータセット、評価環境、評価プロトコルの構築を目的とします。AIが脆弱性分析、脅威検知、ログ解析、インシデント対応、脆弱性修正支援などに活用される一方で、攻撃的用途に転用されうる能力を持つ可能性もあることから、その能力とリスクを再現可能かつ安全に測定する基盤が求められています。本分科会では、脆弱性の検出能力、悪用手順や危険なコード生成に関する推論可能性、マルウェア関連知識の不適切な利用可能性などを、安全に無害化・抽象化された条件下で評価し、安全なAI利活用とリスク低減に資する評価指標の確立を進めます。
本分科会は、ツール利用、環境操作、多段階の計画立案、反復的な意思決定を伴うエージェント型AIモデルの安全性およびセキュリティを評価するためのベンチマークデータセット、評価環境、評価プロトコルの構築を目的とします。エージェントモデルは、外部ツールやシステムに対して実際の操作を行いうるため、出力内容だけでなく、行動過程、権限管理、環境への影響を含めた評価が必要です。本分科会では、実環境に近い条件下でのタスク遂行能力、ツール利用の適切性、意図しない行動や逸脱、指示注入への耐性、権限を超えた操作の抑制、機密情報の不適切な参照・送信の防止などを再現可能な形で評価し、有用性と安全性・セキュリティを両立するエージェント型AIの評価指標の確立を進めます。
確認中 / To Be Displayed