Cách xóa URL khỏi Google Search (5 phương pháp)

Số lượng website liên kết đến bài viết này.

Lưu lượng tìm kiếm hữu cơ hàng tháng ước tính của bài viết này.

Có nhiều cách để loại bỏ URL khỏi Google, nhưng không có một phương pháp nào phù hợp với tất cả mọi trường hợp. Tất cả phụ thuộc vào hoàn cảnh của bạn.

Điều này là một điểm quan trọng cần hiểu. Việc sử dụng phương pháp không đúng có thể dẫn đến việc các trang không được gỡ bỏ khỏi chỉ mục như ý muốn, và cũng có thể ảnh hưởng tiêu cực đến SEO.

Để giúp bạn nhanh chóng quyết định phương pháp gỡ bỏ phù hợp nhất cho mình, chúng tôi đã tạo một sơ đồ dòng để bạn có thể nhảy đến phần liên quan trong bài viết.

Cách Gỡ bỏ URL khỏi Tìm kiếm Google (5 Phương pháp)

Trong bài viết này, bạn sẽ tìm hiểu:

Mới bắt đầu với SEO kỹ thuật? Hãy kiểm tra bài viết “Tranxuanhung”.

Thường thấy SEO làm gì để kiểm tra xem nội dung có được lập chỉ mục không là dùng lệnh tìm kiếm site: trong Google (ví dụ: site:https://ahrefs.com). Mặc dù tìm kiếm site: có thể hữu ích để xác định các trang hoặc phần của một trang web có thể gây vấn đề nếu chúng hiển thị trong kết quả tìm kiếm, nhưng bạn phải cẩn thận vì đây không phải là các truy vấn bình thường và sẽ không cho bạn biết liệu một trang có được lập chỉ mục hay không. Chúng có thể hiển thị các trang đã được Google biết, nhưng điều đó không có nghĩa là chúng đủ điều kiện để hiển thị trong kết quả tìm kiếm bình thường mà không có toán tử site:.

Ví dụ, tìm kiếm site: vẫn có thể hiển thị các trang chuyển hướng hoặc được gắn kết với một trang khác. Khi bạn yêu cầu một trang cụ thể, Google có thể hiển thị một trang từ tên miền đó với nội dung, tiêu đề và mô tả từ một tên miền khác. Ví dụ: moz.com trước đây là seomoz.org. Bất kỳ truy vấn người dùng thông thường nào dẫn đến các trang trên moz.com sẽ hiển thị moz.com trong kết quả tìm kiếm, trong khi site:seomoz.org sẽ hiển thị seomoz.org trong kết quả tìm kiếm như được hiển thị ở dưới đây.

Cách Gỡ bỏ URL khỏi Tìm kiếm Google (5 Phương pháp)

Lý do quan trọng của sự phân biệt này là nó có thể khiến các SEO mắc lỗi như chặn hoặc gỡ bỏ các URL khỏi chỉ mục cho tên miền cũ, điều này ngăn chặn việc tập trung các tín hiệu như PageRank. Tôi đã thấy nhiều trường hợp với việc di chuyển tên miền mà người ta nghĩ rằng họ đã mắc sai lầm trong quá trình di chuyển vì các trang này vẫn hiển thị trong các tìm kiếm site:old-domain.com và cuối cùng làm hại trang web của họ trong khi cố gắng “sửa” vấn đề.

Phương pháp tốt hơn để kiểm tra việc lập chỉ mục là sử dụng báo cáo Phạm vi Chỉ mục trong Google Search Console, hoặc Công cụ Kiểm tra URL cho một URL cụ thể. Các công cụ này cho bạn biết một trang đã được lập chỉ mục và cung cấp thông tin bổ sung về cách Google xử lý trang đó. Nếu bạn không có quyền truy cập vào điều này, chỉ cần tìm kiếm Google theo URL đầy đủ của trang của bạn.

Cách Gỡ bỏ URL khỏi Tìm kiếm Google (5 Phương pháp)

Trong Ahrefs, nếu bạn tìm thấy trang trong báo cáo “Các trang hàng đầu” hoặc xếp hạng cho từ khóa hữu cơ, điều đó có nghĩa là chúng tôi đã thấy nó xếp hạng cho các truy vấn tìm kiếm bình thường và đây là một dấu hiệu tốt cho việc trang đã được lập chỉ mục. Lưu ý rằng các trang đã được lập chỉ mục khi chúng tôi nhìn thấy chúng, nhưng điều đó có thể đã thay đổi. Hãy kiểm tra ngày cuối cùng chúng tôi nhìn thấy trang cho một truy vấn.

Cách Gỡ bỏ URL khỏi Tìm kiếm Google (5 Phương pháp)

Nếu có vấn đề với một URL cụ thể và nó cần được gỡ bỏ khỏi chỉ mục, hãy làm theo sơ đồ dòng ở đầu bài viết để tìm phương pháp gỡ bỏ đúng, sau đó nhảy đến phần phù hợp bên dưới.

Tùy chọn gỡ bỏ 1: Xóa nội dung

Nếu bạn xóa trang và cung cấp mã trạng thái 404 (không tìm thấy) hoặc 410 (không còn), thì trang sẽ bị gỡ bỏ khỏi chỉ mục sau một thời gian ngắn kể từ khi trang được lập chỉ mục lại. Cho đến khi được gỡ bỏ, trang vẫn có thể hiển thị trong kết quả tìm kiếm. Và ngay cả khi trang chính nó không còn tồn tại nữa, phiên bản được lưu trữ của trang đó có thể tạm thời khả dụng.

Tham khảo  Tối ưu hóa SEO Squarespace | Có giúp bạn xếp hạng không?

Khi bạn có thể cần một tùy chọn khác:

  • Tôi cần gỡ bỏ ngay lập tức hơn. Xem phần công cụ gỡ bỏ URL.
  • Tôi cần tập trung các tín hiệu như liên kết. Xem phần phân giải gốc.
  • Tôi cần trang có sẵn cho người dùng. Xem xem phần noindex hoặc hạn chế truy cập phù hợp với tình huống của bạn.
  • Tùy chọn gỡ bỏ 2: Noindex

    Một thẻ meta robots noindex hoặc x-robots header response sẽ cho biết cho các công cụ tìm kiếm gỡ bỏ một trang khỏi chỉ mục. Thẻ meta robots hoạt động cho các trang web trong khi phản hồi x-robots hoạt động cho các trang web và các loại tệp bổ sung như PDF. Để các thẻ này được nhìn thấy, các công cụ tìm kiếm cần có khả năng lập chỉ mục các trang – vì vậy hãy đảm bảo chúng không bị chặn trong robots.txt. Ngoài ra, lưu ý rằng việc gỡ bỏ các trang khỏi chỉ mục có thể ngăn chặn việc tập trung các tín hiệu liên kết và tín hiệu khác.

    Ví dụ về thẻ meta robots noindex:

    Ví dụ về thẻ x-robots noindex trong phản hồi header:

    Khi bạn có thể cần một tùy chọn khác:

  • Tôi không muốn người dùng truy cập vào các trang này. Xem phần hạn chế truy cập.
  • Tôi cần tập trung các tín hiệu như liên kết. Xem phần phân giải gốc.
  • Tùy chọn gỡ bỏ 3: Hạn chế truy cập

    Nếu bạn muốn trang có thể truy cập bởi một số người dùng nhưng không phải là công cụ tìm kiếm, thì điều bạn thực sự muốn là một trong ba tùy chọn sau:

  • Hệ thống đăng nhập nào đó;
  • Xác thực HTTP (yêu cầu mật khẩu để truy cập);
  • IP Whitelisting (chỉ cho phép các địa chỉ IP cụ thể truy cập vào các trang)
  • Thiết lập này tốt nhất cho các mạng nội bộ, nội dung chỉ dành cho thành viên hoặc cho các trang trình diễn, thử nghiệm hoặc phát triển. Nó cho phép một nhóm người dùng truy cập vào trang, nhưng công cụ tìm kiếm sẽ không thể truy cập vào chúng và sẽ không lập chỉ mục các trang này.

    Khi bạn có thể cần một tùy chọn khác:

  • Tôi cần gỡ bỏ ngay lập tức hơn. Xem phần công cụ gỡ bỏ URL. Trong trường hợp cụ thể này, bạn có thể muốn gỡ bỏ ngay lập tức nếu nội dung bạn đang cố che giấu đã được lưu trong bộ nhớ cache và bạn cần ngăn người dùng xem nội dung đó.
  • Tùy chọn gỡ bỏ 4: Công cụ gỡ bỏ URL

    Tên của công cụ này từ Google hơi nhầm lẫn vì cách nó hoạt động là nó sẽ tạm thời che giấu nội dung. Google vẫn nhìn thấy và lập chỉ mục nội dung này, nhưng các trang sẽ không xuất hiện với người dùng. Hiệu ứng tạm thời này kéo dài trong sáu tháng trên Google, trong khi Bing có một công cụ tương tự kéo dài ba tháng. Các công cụ này nên được sử dụng trong các trường hợp cực đoan như vấn đề bảo mật, rò rỉ dữ liệu, thông tin cá nhân xác định (PII), vv. Đối với Google, sử dụng Công cụ Gỡ bỏ và đối với Bing, xem cách chặn các URL.

    Bạn vẫn cần áp dụng một phương pháp khác cùng với việc sử dụng công cụ gỡ bỏ để thực sự gỡ bỏ các trang trong thời gian dài (noindex hoặc xóa) hoặc ngăn người dùng truy cập vào nội dung nếu họ vẫn có liên kết (xóa hoặc hạn chế truy cập). Điều này chỉ cho bạn một cách nhanh chóng để che giấu các trang trong khi yêu cầu gỡ bỏ được xử lý. Yêu cầu có thể mất đến một ngày để xử lý.

    Tham khảo  Cách tìm, khắc phục và ngăn chặn hiện tượng Cannibalization từ từ khóa

    Tùy chọn gỡ bỏ 5: Phân giải gốc

    Khi bạn có nhiều phiên bản của một trang và muốn tập trung các tín hiệu như liên kết vào một phiên bản duy nhất, điều bạn muốn là một hình thức phân giải gốc. Điều này chủ yếu để ngăn chặn nội dung trùng lặp trong khi tập trung nhiều phiên bản của một trang vào một URL được lập chỉ mục duy nhất.

    Bạn có một số tùy chọn phân giải gốc:

  • Thẻ canononical. Điều này chỉ định một URL khác là phiên bản canononical hoặc phiên bản bạn muốn hiển thị. Nếu các trang trùng lặp hoặc rất tương tự, điều này sẽ tốt. Khi các trang khác biệt quá nhiều, thẻ canononical có thể bị bỏ qua vì nó chỉ là một gợi ý và không phải là một chỉ thị.
  • Chuyển hướng. Chuyển hướng đưa người dùng và bot tìm kiếm từ một trang này sang trang khác. 301 là chuyển hướng được sử dụng phổ biến nhất bởi các SEO và nó cho biết các công cụ tìm kiếm rằng bạn muốn URL cuối cùng được hiển thị trong kết quả tìm kiếm và nơi tín hiệu được tập trung. 302 hoặc chuyển hướng tạm thời cho biết cho các công cụ tìm kiếm rằng bạn muốn URL ban đầu là phiên bản muốn được giữ trong chỉ mục và tập trung các tín hiệu ở đó.
  • Xử lý tham số URL (bị loại bỏ vào đầu năm 2022 và không còn hữu ích). Một tham số được thêm vào cuối URL và thường bao gồm một dấu chấm hỏi, chẳng hạn như ahrefs.com?this=parameter. Công cụ này từ Google trước đây cho phép bạn cho họ biết cách xử lý các URL có các tham số cụ thể. Ví dụ, bạn trước đây có thể chỉ định xem tham số có thay đổi nội dung trang hay chỉ được sử dụng để theo dõi việc sử dụng.
  • Làm thế nào để ưu tiên gỡ bỏ

    Nếu bạn có nhiều trang cần gỡ bỏ khỏi chỉ mục của Google, thì chúng nên được ưu tiên xử lý phù hợp.

    -Ưu tiên cao nhất: Những trang này thường liên quan đến vấn đề bảo mật hoặc dữ liệu nhạy cảm. Điều này bao gồm nội dung chứa dữ liệu cá nhân (PII), dữ liệu khách hàng hoặc thông tin độc quyền.

    -Ưu tiên trung bình: Điều này thường liên quan đến nội dung dành cho một nhóm người dùng cụ thể. Mạng nội bộ của công ty hoặc cổng nhân viên, nội dung dành cho thành viên và môi trường trình diễn, thử nghiệm hoặc phát triển.

    -Ưu tiên thấp: Những trang này thường liên quan đến nội dung trùng lặp. Một số ví dụ về điều này bao gồm các trang được phục vụ từ nhiều URL, URL với các tham số và lại có thể bao gồm các môi trường trình diễn, thử nghiệm hoặc phát triển.

    Những lỗi thông thường trong việc gỡ bỏ cần tránh

    Tôi muốn nói về một số cách tôi thường thấy việc gỡ bỏ được thực hiện không đúng và điều gì xảy ra trong mỗi tình huống để giúp mọi người hiểu tại sao chúng không hoạt động.

    Noindex trong robots.txt

    Mặc dù Google trước đây không chính thức hỗ trợ noindex trong robots.txt, nhưng nó không bao giờ là một tiêu chuẩn chính thức và bây giờ họ đã chính thức loại bỏ hỗ trợ. Nhiều trang web đang thực hiện điều này đã làm sai và tự hại mình.

    Chặn việc lập chỉ mục trong robots.txt

    Lập chỉ mục không phải là điều giống như việc truyền lại. Ngay cả khi Google bị chặn lập chỉ mục các trang, nếu có bất kỳ liên kết nội bộ hoặc liên kết ngoại vi nào đến một trang, chúng vẫn có thể lập chỉ mục nó. Google sẽ không biết điều gì trên trang vì họ sẽ không truyền lại nó, nhưng họ biết rằng một trang tồn tại và thậm chí sẽ viết một tiêu đề để hiển thị trong kết quả tìm kiếm dựa trên tín hiệu như văn bản mô tả của liên kết đến trang.

    Tham khảo  Hướng Dẫn Kiểm Tra Nền Tảng Trang Web Google (15+ Bước)

    Nofollow

    Điều này thường bị nhầm lẫn với noindex, và một số người sẽ sử dụng nó ở mức độ trang trong khi mong đợi trang không được lập chỉ mục. Nofollow chỉ là một gợi ý, và mặc dù ban đầu nó ngăn các liên kết trên trang và các liên kết cá nhân có thuộc tính nofollow khỏi được truyền lại, nhưng điều này không còn đúng nữa. Google hiện có thể truyền lại các liên kết này nếu họ muốn. Nofollow trước đây cũng được sử dụng cho các liên kết cá nhân để ngăn Google truyền lại từng trang cụ thể và để điều chỉnh PageRank. Một lần nữa, điều này không còn hoạt động nữa vì nofollow chỉ là một gợi ý. Trong quá khứ, nếu trang có một liên kết khác đến nó, thì Google vẫn có thể khám phá từ con đường truyền lại thay thế này.

    Lưu ý rằng bạn có thể tìm thấy các trang được đánh dấu nofollow theo lô bằng cách sử dụng bộ lọc này trong Trình duyệt Trang của Site Audit của Ahrefs.

    Nofollow

    Vì hiếm khi có ý nghĩa để nofollow tất cả các liên kết trên một trang, số lượng kết quả nên là không hoặc gần bằng không. Nếu có kết quả phù hợp, tôi khuyến nghị bạn kiểm tra xem liệu chỉ thị nofollow có được thêm vào nhầm chỗ của noindex và chọn một phương pháp gỡ bỏ phù hợp hơn nếu cần.

    Nofollow

    Noindex và canonical tới một URL khác

    Các tín hiệu này mâu thuẫn. Noindex yêu cầu gỡ bỏ trang khỏi chỉ mục, và canonical yêu cầu rằng một trang khác là phiên bản phải được lập chỉ mục. Điều này thực sự có thể hoạt động cho việc tập trung vì Google thường chọn bỏ qua noindex và thay vào đó sử dụng canonical làm tín hiệu chính. Tuy nhiên, điều này không phải là hành vi tuyệt đối. Có một thuật toán liên quan và có nguy cơ rằng thẻ noindex có thể là tín hiệu được tính. Nếu điều đó xảy ra, trang sẽ không tập trung đúng cách.

    Lưu ý rằng bạn có thể tìm thấy các trang được đánh dấu noindex với canonical không tự tham chiếu bằng cách sử dụng bộ lọc này trong Trình duyệt Trang của Site Audit:

    Noindex và canonical tới một URL khác

    Noindex, đợi Google truyền lại, sau đó chặn truy cập lại

    Thường có một số cách mà điều này thường xảy ra:

  • Các trang đã bị chặn nhưng vẫn được lập chỉ mục, mọi người thêm thẻ noindex và bỏ chặn để Google có thể truyền lại và xem thẻ noindex, sau đó chặn các trang khỏi việc truyền lại.
  • Mọi người thêm thẻ noindex cho các trang mà họ muốn gỡ bỏ và sau khi Google đã truyền lại và xử lý thẻ noindex, họ chặn các trang khỏi việc truyền lại.
  • >Dù cách nào đi chăng nữa, trạng thái cuối cùng là bị chặn truy cập. Nếu bạn nhớ, trước đây, chúng tôi đã nói về việc truyền lại không phải là việc lập chỉ mục. Ngay cả khi các trang này bị chặn, chúng vẫn có thể xuất hiện trong chỉ mục.

    Đối với nội dung của bạn nhưng không nằm trên một trang web bạn sở hữu, bạn nên làm gì?

    Nếu bạn sở hữu nội dung được sử dụng trên một trang web khác, bạn có thể gửi yêu cầu dựa trên Digital Millennium Copyright Act (DMCA). Bạn có thể sử dụng Công cụ Gỡ bỏ Bản quyền của Google để thực hiện việc gỡ bỏ tài liệu bị vi phạm bản quyền.

    Nếu đó là nội dung về bạn nhưng không nằm trên một trang web bạn sở hữu, bạn nên làm gì?

    Nếu bạn ở EU, bạn có thể yêu cầu gỡ bỏ nội dung chứa thông tin về bạn nhờ một quyết định của tòa án về quyền được quên. Bạn có thể yêu cầu gỡ bỏ thông tin cá nhân bằng cách sử dụng biểu mẫu Gỡ bỏ Quyền riêng tư của EU.

    Gỡ bỏ hình ảnh

    Để gỡ bỏ hình ảnh khỏi Google, cách đơn giản nhất là sử dụng robots.txt. Trong khi việc hỗ trợ không chính thức cho việc gỡ bỏ trang đã bị gỡ bỏ khỏi robots.txt như chúng tôi đã đề cập trước đây, việc không cho phép truy cập vào hình ảnh là cách chính xác để gỡ bỏ hình ảnh.

    Đối với một hình ảnh duy nhất:

    Disallow: /images/my-image.jpg

    Đối với tất cả hình ảnh:

    Disallow: /images/

    Ý kiến cuối cùng

    Cách bạn gỡ bỏ URL phụ thuộc vào tình huống cụ thể. Chúng tôi đã nói về một số tùy chọn, nhưng nếu bạn vẫn bối rối về cách nào là phù hợp với bạn, hãy tham khảo sơ đồ dòng ở đầu bài viết.

    Bạn cũng có thể sử dụng hướng dẫn gỡ bỏ vấn đề pháp lý do Google cung cấp cho việc gỡ bỏ nội dung.

    Có câu hỏi? Hãy cho tôi biết trên Twitter.

    Tìm hiểu thêm về chúng tôi tại: TRANHUNG Digital

    Đánh giá bài viết