정답이 '알 수 없음'인 이유는 각 선택지가 로봇 배제 표준과 관련하여 정확하지 않거나 모호하기 때문입니다. 1번은 로봇의 접근을 막는 목적을 잘못 설명하고 있고, 2번은 특정 디렉토리에 대한 불가능성을 주장하지만 실제로는 가능한 경우도 있습니다. 3번은 robots.txt 파일의 필드 내용에 대한 기본적인 규제를 간과하고 있으며, 4번도 방법을 제대로 설명하지 않죠. 따라서 올바른 설명이 부족하여 명확한 정답을 선택할 수 없습니다.