Як створити файл Robots txt?

Файл robots. txt потрібно розмістити у кореневому каталозі сайту. Наприклад, на сайті https://www.example.com/ він повинен розміщуватись за адресою https://www.example.com/robots.txt. Він не повинен перебувати в підкаталозі (наприклад, за адресою https://example.com/pages/robots.txt).

Як виглядатиме файл Robots txt?

Файл має називатися лише "robots". txt" малими літерами і ніяк інакше. Його розміщують у кореневому каталозі – https://site.com/robots.txt в єдиному екземплярі. У відповідь на запит він повинен надавати HTTP-код зі статусом 200 ОК.