Skip to content
AIインテリジェンスSep 11, 2026実践ヒント
記事

AIエージェントを開発する場合は、クローリング実行前に対象サイトのsecurity.txtおよびrobots.txtを確認し、記載されている指示を尊重してください。

AI生成:要約はリンク先の情報源をもとにAIが作成しています。 AIの利用について

AI生成出典: Blog
01

ソース要約

AIエージェントを開発する場合は、クローリング実行前に対象サイトのsecurity.txtおよびrobots.txtを確認し、記載されている指示を尊重してください。

02

実践ヒント

AIエージェントにsecurity.txtの指示に従わせるように設定してください。
03
生産性中級Blog号を見る