Skip to content
AI 인텔리전스Sep 11, 2026실용 팁
기사

AI 에이전트를 구축한다면, 크롤링 전에 대상 사이트의 security.txt와 robots.txt를 확인하고 지침을 준수하세요.

Data Cube AI 편집팀출처: Blog
01

출처 브리프

AI 에이전트를 구축한다면, 크롤링 전에 대상 사이트의 security.txt와 robots.txt를 확인하고 지침을 준수하세요.

02

실용 팁

AI 에이전트가 security.txt 지침을 따르게 하세요.