Джон Мюллер з Google відповів на запитання про видалення зламаних URL-адрес, які відображаються в індексі. Він пояснив, як прибрати сайти з результатів пошуку, а потім обговорив нюанси вирішення цієї конкретної ситуації.
Видалення зламаних сторінок із пошукової видачі Google
Людина, яка ставить запитання, стала жертвою японської хакерської атаки, так званої через те, що зловмисники створюють сотні чи навіть тисячі шахрайських веб-сторінок японською мовою. Людина впоралася з проблемою та видалила заражені спамом веб-сторінки, залишивши 404 сторінки, які все ще згадуються в результатах пошуку Google.
Тепер вони хочуть видалити їх із пошукового індексу Google, щоб сайт більше не асоціювався з цими сторінками.
Вони запитали:
“Нещодавно мій сайт зазнав японської атаки. Однак я переніс цей сайт до нового хостинг-провайдера та видалив звідти всі дані.
Однак фактом є те, що багато японських URL-адрес було проіндексовано.
Отже, як мені деіндексувати ці тисячі URL-адрес із мого веб-сайту?»
Запитання відображає поширену проблему після японської хакерської атаки, коли зламані сторінки вперто залишаються індексованими ще довго після видалення. Це показує, що після видалення шкідливого вмісту відновлення сайту не завершено; Пошуковий індекс Google має очистити сторінки, і це може зайняти дуже багато часу.
Як видалити японські сторінки хакерської атаки з Google
Джон Мюллер з Google порекомендував використовувати інструмент видалення URL-адрес у Search Console. Всупереч натяку, закладеному в назві інструменту, він не видаляє URL-адресу з індексу пошуку; він просто швидше видаляє його з результатів пошуку Google, якщо вміст уже видалено з сайту або заблоковано для сканера Google. За звичайних обставин Google видалить сторінку з результатів пошуку після того, як сторінку буде проскановано та помічено, що вона заблокована або зникла (відповідь про помилку 404).
Три передумови для інструмента видалення URL-адрес
- Сторінка видаляється та повертає код відповіді сервера 404 або 410.
- URL-адресу заблоковано від індексації метатегом robots:
- Файл robots.txt не дозволяє сканувати URL-адресу.
Мюллер з Google відповів:
“Ви можете використовувати інструмент видалення URL-адрес у пошуковій консолі для окремих URL-адрес (також якщо всі URL-адреси починаються з того самого). Я б використав це для будь-яких, які особливо помітні (перевірте звіт про продуктивність, 24 години).
Це не видаляє їх з індексу, але приховує протягом дня. Якщо сторінки недійсні / 404 зараз, вони також зникнуть з часом, але інструмент видалення означає, що ви можете зупинити їх видимість «негайно». (Обидва переспрямування на 404 підходять, технічно 404 є правильним кодом відповіді)”
Мюллер уточнив, що інструмент видалення URL-адрес не видаляє URL-адреси з індексу Google, а натомість приховує їх у результатах пошуку швидше, ніж природне повторне сканування. Його пояснення є нагадуванням про те, що цей інструмент має тимчасовий ефект видимості пошуку та не є способом остаточного видалення URL-адреси з самого індексу Google. Фактичне видалення з пошукового індексу відбувається після того, як Google перевірить, що сторінка справді зникла або заблокована для сканування чи індексування.
Рекомендоване зображення Shutterstock/Asier Romero