1. robots.txt란?robots.txt는 웹사이트 관리자가 검색 엔진의 크롤러(로봇)가 특정 페이지나 디렉토리에 접근할 수 있는지 여부를 제어하기 위해 사용하는 텍스트 파일입니다.이 파일을 사용하면 검색 엔진이 크롤링할 필요가 없는 리소스를 방지하여 서버 리소스를 효율적으로 사용할 수 있습니다. 또한 SEO 최적화에 도움을 줄 수 있습니다.주요 특징:파일 위치: 항상 사이트의 루트 디렉토리에 위치하며 URL은 고정되어 있습니다.예) https://www.test.com/robots.txt역할: 특정 디렉토리나 파일의 크롤링을 허용 또는 금지합니다. 2. Spring Boot에서 robots.txt 설정 방법Spring Boot에서 robots.txt를 설정하려면 정적 리소스 디렉토리에 파일을 추가..