robots.txt задает базовые правила обхода сайта, а sitemap.xml перечисляет важные страницы. Эти файлы не продвигают сайт сами по себе, но помогают поисковой системе быстрее понять структуру.

В sitemap добавляйте только публичные URL со статусом 200. Для каждой страницы полезны title, description, один h1 и canonical. Стили и картинки не стоит закрывать, если они нужны для отображения.

После изменения структуры проверьте карту сайта, robots.txt и внутренние ссылки. Если адрес удален, настройте редирект или отдавайте корректную страницу 404.