Bạn có tạo thuận lợi cho công cụ tìm kiếm crawl website không

Sau nhiều năm quan sát các công cụ tìm kiếm, thật thú vị khi thấy có quá nhiều thay đổi đã diễn ra. Chúng ta đi từ việc phân tích từ khóa hiệu quả tới tối ưu tỷ lệ chuyển đổi, đi từ bước đầu thu hút khách hàng cho tới bước cuối cùng trong phễu chuyển đổi. Dù vậy, vẫn có một bước ở giữa rất quan trọng đó là cánh cửa để bước vào website.

Trong khi người dùng là mục tiêu quan trọng tác động tới yếu tố chuyển đổi thì những người làm SEO phải quan tâm tới sở thích của công cụ tìm kiếm, để có nhiều lượt hiển thị hơn nhằm thu hút người dùng. Từ góc nhìn của một người làm SEO, trước khi người dùng bước vào web thì công cụ tìm kiếm vào được web một cách dễ dàng, không bị gián đoạn.

Nếu bạn cố gắng để cải thiện chất lượng của website đối với công cụ tìm kiếm thì bạn cũng làm một việc tương tự đối với người dùng. Bài viết này đưa ra một danh sách các việc cần làm để giúp trang của bạn được công cụ tìm kiếm crawl tốt hơn.

Kết nối

Công cụ: Pingdom Website Speed Test

Trước khi nghĩ tới chuyện công cụ tìm kiếm vào thăm website, bạn cần phải xem xét trang web của mình kết nối với server như thế nào. Việc đầu tiên là kiểm tra Ping và Traceroute để xem có vấn đề gì trong kết nối không.

Một phương án khác là kiểm tra dữ liệu thẳng từ Google Analytics. Xem trong phần Behavior>>Site Speed>>Page Timings các thông số như Avg. Redirection Time, Avg. Domain Lookup Domain, Avg. Server Connection Time, and Avg. Server Response Time.

​

Sự rõ ràng

Tools: Google Search Console và Sitemap Writer Pro

Tôi gọi đây là “sự rõ ràng” vì nó thật sự là điểm bắt đầu của công cụ tìm kiếm trên website. Nó là nền móng của SEO. Tuy nhiên, nếu bạn cảm thấy nó không quen thuộc gì, dưới góc nhìn của SEO, nó có thể giới hạn khả năng của bạn.

​

Bạn sẽ xem trong phần Google Search Console>>Crawl>>Robots.txt tester để xem Google bot vào file robots.txt như thế nào, cái gì bạn không cho nó thấy. Đây là cơ hội tuyệt vời để xem xét lại những thứ bạn bỏ qua và cho phép bạn kiểm tra lại những vùng có thể có giá trị mà không cho công cụ tìm kiếm vào xem.

Chạy kiểm tra những trang quan trọng nhất của website để chắc chắn khôgn có lỗi lầm nghiêm trọng nào. Bạn cũng nên đảm bảo sitemap hiện tại chứa đầy đủ các trang, hình ảnh, video để công cụ tìm kiếm có thể vào xem thường xuyên khi nó cần.

Tải trang

Công cụ: Pingdom Website Speed Test và Google PageSpeed Insights

Tốc độ tải trang là một trong những yếu tố xếp hạng qua nhiều năm nay. Yếu tố này tối ưu khi những file riêng CSS và JavaScript để gọi ra càng ít càng tốt. Tôi thấy nhiều người có thể đáp ứng được việc tối ưu này, nhưng lại thường bỏ qua các trang 404 hoặc những trang redirect. Mặc dù redirect không phải là điều xấu nhưng nó cũng khiến cho công cụ tìm kiếm ngừng crawl trang web một thời gian.

 ​

Chúng ta sử dụng công cụ Pingdom's speed test một lần nữa, bởi nó có công cụ xem xét tải trang rất tốt. Với những trang mà request lâu, bạn có thể thấy màu của file đó được tô màu khác như kiểu file chết hay redirect.

Nhân tiện khi chúng ta nói với redirect, cách để giúp cho bọ crawl website dễ dàng hơn thì hãy sử dụng redirect nội website. Sử dụng các công cụ như Xenu's Link Sleuth hay SEMrush Site Audits bạn có thể tìm ra được những link nội bộ hỏng hay redirect.

Render trang

Công cụ: Google Search Console (Fetch as Googlebot and Blocked Resources)

Khi bạn tới đây thì website đã được tối ưu về việc load các file. Vậy công cụ tìm kiếm thấy nó như thế nào? Nó chỉ load content của bạn thì không có nghĩa là lỗi không xảy ra. Sử dụng Fetch as Googlebot trong Search Console, bạn sẽ thấy được liệu bài viết của mình được người dùng nhìn thấy giống với những gì bọ nhìn thấy. Trong khi đó, xem trong phần Blocked Resources bạn có thể kiểm tra lại lần nữa những trang bị chặn bởi server bị time out hay là do robots.txt chặn.

Trùng lặp nội dung hoặc là Crawl thừa

Công cụ: SEMrush Site Audit, SiteLiner, và tự kiểm tra thủ công

Tôi đã nói tới redirect và link hỏng, và chúng ta có thể bàn sâu hơn về việc chuyển hướng các đường link nhưng cái tôi muốn nói ở đây là về việc crawl dư thừa và những trùng lặp trong content không phát hiện được. Khi mà Googlebot bỏ thời gian vào web để crawl bài, bạn có muốn có làm việc một cách nhanh chóng nhất hay là làm phiền nó với những trang trùng lặp hoặc đã được crawl rồi?

Có những công cụ giúp bạn phát hiện trùng lặp như SiteLiner hay SEMrush, tuy nhiên cách tôi thường làm là copy lại tiêu đề hoặc câu trong content để tìm kiếm trong site. Bạn sẽ thường phát hiện ra những nội dung trùng lặp trên nhiều trang khác nhau hoặc trùng lặp content trên sub-domain.

Kết luận

Dĩ nhiên là chúng ta không thể làm mọi thứ để mở cửa cho công cụ tìm kiếm vào website được nhưng tôi đã liệt kê ra cho bạn những điểm chính mà các trang thường mắc lỗi. Hãy nghĩ về quá trình crawl của công cụ tìm kiếm khi nó vào site, gõ cửa và bạn mở cửa cho nó vào.

Nguồn: seomxh.com