Google Index Là Gì? Cách Check Index Và Sửa Lỗi

Google index (chỉ mục của Google) là cơ sở dữ liệu khổng lồ nơi Google lưu các trang web đã thu thập và phân tích, và chỉ những trang nằm trong chỉ mục mới có thể xuất hiện trên kết quả tìm kiếm. Một bài viết mới phải đi qua ba giai đoạn gồm thu thập dữ liệu (crawl), lập chỉ mục (index) và hiển thị kết quả, và có thể dừng ở bất kỳ giai đoạn nào. Điều nhiều người không biết là Google không cam kết index mọi trang nó đã đọc. Khi Search Console báo một trang đã thu thập dữ liệu nhưng chưa lập chỉ mục, nguyên nhân thường không phải lỗi kỹ thuật mà là Google chưa thấy trang đủ giá trị để lưu.

Sơ đồ các bước từ thu thập dữ liệu, hiển thị trang, chọn trang chính tắc đến lập chỉ mục và trả kết quả

Google index là gì?

Google index là nơi Google lưu bản phân tích của từng trang, gồm nội dung chữ, hình ảnh, liên kết, dữ liệu có cấu trúc và phiên bản được chọn làm trang chính tắc khi có nhiều trang trùng nhau. Khi ai đó tìm kiếm, Google không đi đọc lại cả Internet mà tra trong chỉ mục này để chọn kết quả. Vì vậy một trang chưa được index thì dù nội dung tốt đến đâu cũng không thể xếp hạng. Trong tài liệu giới thiệu cách Google Search hoạt động, Google mô tả quá trình này gồm ba giai đoạn là thu thập dữ liệu, lập chỉ mục và phân phối kết quả, và nói rõ không phải trang nào cũng đi được đến giai đoạn cuối.

Crawl và index khác nhau thế nào?

Crawl là lúc Googlebot tìm thấy URL qua liên kết hoặc sitemap và tải trang về, còn index là lúc Google phân tích nội dung đã tải và quyết định có lưu vào chỉ mục hay không. Một trang có thể được crawl nhiều lần mà vẫn không được index, nếu nội dung trùng với trang khác, quá mỏng hoặc bị đánh dấu noindex. Ngược lại, một trang bị chặn crawl trong robots.txt đôi khi vẫn xuất hiện trong kết quả chỉ với URL, vì Google biết đến nó qua liên kết mà không đọc được nội dung. Googlebot tìm URL, đọc robots.txt và tải trang theo thứ tự nào được giải thích trong bài crawl là gì.

Sơ đồ các giai đoạn khám phá, thu thập, hiển thị, loại trùng và chọn trang chính tắc trước khi lập chỉ mục

Cách check index cho một trang và cả website

Có bốn cách check index, khác nhau ở độ chính xác và số lượng URL kiểm tra được mỗi lần.

Công cụ kiểm tra URL là cách nên dùng đầu tiên. Dán URL vào ô tìm kiếm ở đầu Search Console, kết quả cho biết URL có nằm trên Google không, lần thu thập gần nhất, trang chính tắc Google chọn và lý do nếu không index. Với nhiều URL, Search Console có URL Inspection API cho phép tối đa 2.000 lượt kiểm tra mỗi ngày cho mỗi thuộc tính. Toán tử site: tiện nhưng Google nói rõ nó không trả về mọi trang đã index, nên trang không hiện chưa chắc là chưa index. Nhiều công cụ check index miễn phí đang đứng đầu kết quả tìm kiếm thường dựa trên truy vấn Google tương tự, nên chỉ nên dùng để khoanh vùng. Cách thiết lập Search Console có trong bài Google Search Console là gì.

Cách giúp Google index trang nhanh hơn

Không có cách nào ép Google index một trang, nhưng có bốn việc giúp Google tìm thấy và đánh giá trang sớm hơn.

1. Thêm link từ trang đã được index. Googlebot tìm trang mới chủ yếu qua liên kết. Một bài mới có link từ vài bài cũ đang có lượt truy cập thường được phát hiện nhanh hơn bài chỉ có trong sitemap.
2. Khai báo sitemap với ngày cập nhật đúng. Google dùng giá trị lastmod trong sitemap nếu nó phản ánh đúng lần sửa nội dung thật. Tính năng ping sitemap đã bị Google ngừng hỗ trợ từ cuối năm 2023, nên chỉ cần khai báo sitemap trong Search Console và robots.txt.
3. Gửi yêu cầu lập chỉ mục một lần. Trong công cụ kiểm tra URL có nút yêu cầu lập chỉ mục, số lượt mỗi ngày có giới hạn. Gửi lại nhiều lần cho cùng một URL không làm nhanh hơn.
4. Làm nội dung đáng lưu. Trang trùng lặp hoặc chỉ viết lại những gì đã có sẵn là nhóm hay bị để ở trạng thái đã thu thập nhưng chưa lập chỉ mục.

Nhiều bài hướng dẫn khuyên dùng Google Indexing API để bài blog được index trong vài phút. Theo tài liệu của Google, API này chỉ dành cho trang tuyển dụng và trang phát trực tiếp, mọi yêu cầu đều qua kiểm tra spam, và dùng sai mục đích có thể bị thu hồi quyền. Mình không khuyên dựa vào nó cho website nội dung, kể cả khi một số công cụ vẫn cho gửi mọi loại trang.

Hai đoạn mã HTML đặt cạnh nhau, một trang có thẻ meta robots cho phép index và canonical đúng, một trang có noindex và canonical sai

Vì sao trang không được Google index?

Trang không được index thường rơi vào một trong hai nhóm, chặn kỹ thuật hoặc Google chủ động không lưu. Nhóm chặn kỹ thuật dễ sửa nhất và nên kiểm tra trước.

• Thẻ noindex hoặc header X-Robots-Tag. Hay gặp khi website chuyển từ bản thử nghiệm sang bản chính mà quên gỡ.
• Chặn trong robots.txt. Một dòng Disallow đặt sai có thể chặn cả thư mục bài viết. Cần nhớ robots.txt chặn crawl chứ không phải chặn index, muốn bỏ trang khỏi chỉ mục phải dùng noindex.
• Canonical trỏ sang trang khác. Google sẽ index trang được trỏ tới thay vì trang hiện tại.
• Không có link nào trỏ vào. Trang mồ côi khó được phát hiện nếu không có trong sitemap.
• Đã thu thập dữ liệu nhưng chưa lập chỉ mục. Không có lỗi kỹ thuật, Google đã đọc trang và quyết định chưa lưu. Cách xử lý là làm nội dung khác biệt hơn hoặc gộp với trang tương tự, không phải gửi yêu cầu index nhiều lần. Bài do AI viết hàng loạt hay rơi vào nhóm này, cách kiểm tra riêng có trong bài bài viết AI có index không.

Mình thấy nhóm cuối là nơi nhiều người tốn công nhất, vì họ tìm lỗi kỹ thuật trong khi vấn đề nằm ở nội dung.

Câu hỏi thường gặp về Google Index

Google thường mất bao lâu để lập chỉ mục một bài viết mới?

Không có thời gian cố định. Google không cam kết mốc nào, và thời gian phụ thuộc vào việc website được thu thập dữ liệu thường xuyên đến đâu, trang mới có được link từ trang đã index không, và chất lượng nội dung. Bài trên website đã quen được Google ghé thường nhanh hơn nhiều so với website mới.

Cách kiểm tra nhanh nhất xem một bài viết đã được Google index hay chưa là gì?

Chính xác nhất là dán URL vào ô kiểm tra ở đầu Google Search Console. Nếu không có quyền vào Search Console, dùng toán tử site kèm URL đầy đủ trên Google, nhưng kết quả này không đầy đủ, trang không hiện chưa chắc là chưa index.

Tại sao bài viết đã xuất bản lâu nhưng vẫn không được Google index?

Kiểm tra theo thứ tự các chặn kỹ thuật như noindex, robots.txt, canonical trỏ sang trang khác, rồi tới việc trang có link nội bộ trỏ vào không. Nếu mọi thứ đúng mà Search Console báo đã thu thập dữ liệu nhưng chưa lập chỉ mục, thường là Google đánh giá trang chưa đủ giá trị để lưu.

Có nên dùng Google Indexing API để index bài blog nhanh hơn không?

Không nên dựa vào nó. Theo tài liệu của Google, Indexing API chỉ dùng cho trang tuyển dụng (JobPosting) và trang phát trực tiếp (BroadcastEvent). Mọi yêu cầu qua API đều bị kiểm tra spam, và dùng sai mục đích có thể bị thu hồi quyền truy cập.

Công cụ check index hàng loạt có chính xác không?

Chỉ ở mức tham khảo. Nhiều công cụ check index miễn phí dựa trên toán tử site hoặc tìm chính URL trên Google, mà cách này không cho kết quả đầy đủ. Để kiểm tra nhiều URL chính xác hơn, dùng báo cáo Lập chỉ mục trang hoặc URL Inspection API của Search Console.

Theo dõi trang mới sau khi được index

Được index mới là bước đầu, bài có xuất hiện cho truy vấn nào và ở vị trí nào mới là điều cần theo dõi tiếp. Nếu một bài đã index vài tuần mà gần như không có lượt hiển thị, vấn đề thường nằm ở việc chọn từ khóa hoặc dạng bài, không còn là chuyện index. Solytix đồng bộ dữ liệu Search Console mỗi ngày, cho thấy bài mới bắt đầu có lượt hiển thị cho truy vấn nào và bài nào đang tụt, và bạn có thể dùng thử miễn phí 30 ngày với website của mình.