User-agent: *
Allow: /.well-known/assetlinks.json
Disallow: /?                # запрещаем индексировать страницу поиска
Disallow: /page*            # запрещаем индексировать вторую и следующие страницы поиска
Disallow: /camera_post*
Disallow: /internal/*
Disallow: /media_category/*