Thông báo

Ưu đãi

Tin tức

Kỹ thuật

Crawl là gì?

Tin tức

28/06/2021, 02:10 pm

2,970

Mục lục [Ẩn]

1. Crawl là gì?
2. Web Crawler là gì?
3. Làm sao để ngăn Google Crawling những dữ liệu không quan trọng trên Website?
4. Quá trình Crawl của Googlebot
5. Can thiệp vào việc Crawl dữ liệu của công cụ tìm kiếm
- - Tạo nội dung mới trên site một cách thường xuyên và đều đặn
- - Sử dụng các công cụ hỗ trợ Index và Crawl
6. Các trình thu thập thông tin có bị lỗi khi họ cố truy cập URL của bạn không?
7. Kết luận

Đối với các nhà thiết lập và quản trị Website, các thuật ngữ như Crawl, Web Spiders,... chắc không còn xa lạ. Tuy nhiên đối với những người mới bắt đầu, thì khái niệm Crawl là gì còn khá mơ hồ. Bài viết này Nhân Hòa sẽ giới thiệu cho bạn nguyên lý hoạt động của Web Crawler, quá trình Crawl của Googlebot cũng như các thông tin liên quan về công cụ tiện ích này.

1. Crawl là gì?

Crawl là một thuật ngữ mô tả quá trình thu thập dữ liệu trên Website của các con bot công cụ tìm kiếm. Hành động này được ví như là bò trườn vì trong quá trình thu thập dữ liệu của mình, các con bot sẽ lần lượt truy cập vào từng liên kết trên trang mà nó bắt gặp, và tiếp tục thu thập dữ liệu ở các liên kết mới đó. Và quá trình này chỉ dừng lại khi tất cả liên kết có trên trang đầu cũng như các trang có liên quan đã được “bò trườn” hết.

Dữ liệu thu thập được trong quá trình Crawl sẽ được gửi về máy chủ tìm kiếm kèm theo thời gian hoàn tất Crawl trước đó để được Search Engine xem xét và đánh giá trước khi đưa ra quyết định Index Website. Như vậy, chúng ta có thể thấy Googlebot có thể đã thu thập dữ liệu của Website rất nhiều lần trước khi đi đến quyết định Index Website.

Crawl là gì?

Crawl là một quá trình khá quan trọng trong quá trình thu thập và index dữ liệu của Google. Công đoạn này giúp Search Engine có thể đưa ra được đánh giá chính xác nhất về chất lượng của Website để có một quyết định cuối cùng về thứ hạng của trang Web trên SERP.

>>> Xem thêm: Top 10 cách kiểm tra thứ hạng website trên google nhanh chóng, hiệu quả

2. Web Crawler là gì?

Có rất nhiều thứ để nói về công cụ thu thập thông tin: Crawl, Web Crawler, Spider, bot công cụ tìm kiếm,... Chúng có nhiệm vụ chung là tải về và index nội dung bất kỳ đâu trên mạng.

Bản thân thuật ngữ Crawl mang tính chất diễn tả quy trình tự động vào trang web để thu thập thông tin thông qua phần mềm. Tìm hiểu các page trong Website truy xuất dữ liệu lúc cần là mục tiêu của bot. Các công cụ tìm kiếm là cơ quan vận hành các bot.

Web Crawler là gì?

Khi người dùng thực hiện tìm kiếm, thuật toán sẽ được tiến hành trên thông tin mà Web Crawler thu thập được. Từ đó công cụ tìm kiếm sẽ cung cấp đường dẫn liên kết phù hợp với yêu cầu của người dùng. Từ khóa được người dùng nhập tại Google hoặc Bing sẽ sắp xếp thành danh sách Website trên kết quả tìm kiếm.

3. Làm sao để ngăn Google Crawling những dữ liệu không quan trọng trên Website?

- Sử dụng Robots.txt

Để hướng Googlebot ra khỏi các trang và phần nhất định trên trang web của bạn, hãy sử dụng Robots.txt

+ Robots.txt là gì?

Các tệp Robots.txt được đặt trong thư mục gốc của các trang web (ví dụ: yourdomain.com/robots.txt). Tệp này giúp đề xuất phần nào trong công cụ tìm kiếm trang web của bạn nên và không nên thu thập dữ liệu, cũng như tốc độ chúng thu thập dữ liệu trang web của bạn , thông qua các chỉ thị cụ thể trên file Robots.txt

+ Cách Googlebot xử lý tệp Robots.txt

Nếu Googlebot không thể tìm thấy tệp Robots.txt cho một trang web, nó sẽ tiến hành thu thập dữ liệu trang web

Nếu Googlebot tìm thấy tệp Robots.txt cho một trang web, nó thường sẽ tuân theo các đề xuất và tiến hành thu thập dữ liệu trang web

Nếu Googlebot gặp lỗi trong khi cố gắng truy cập tệp Robots.txt của trang web và không thể xác định xem có tồn tại hay không, nó sẽ không thu thập dữ liệu trang web

- Tối ưu hóa cho ngân sách thu nhập

Ngân sách thu thập (Crawl Budget) ở đây là số lượng URL trung bình Googlebot sẽ thu thập dữ liệu trên trang web của bạn trước khi rời khỏi

Vì vậy, để tối ưu hóa quá trình Crawling, hãy đảm bảo rằng:

+ Googlebot không quét các trang không quan trọng và có nguy cơ bỏ qua các trang quan trọng của bạn

+ Chặn trình thu thập thông tin truy cập nội dung mà bạn chắc chắn không quan trọng

+ Không chặn quyền truy cập của trình thu thập thông tin vào các trang bạn đã thêm các chỉ thị khác, chẳng hạn như thẻ “Canonical” hoặc “Noindex”

Tuy nhiên, không phải tất cả các Robot Web đều tuân theo chỉ thị trong file Robots.txt. Trên thực tế, việc đặt vị trí của các URL đó trong tệp Robots.txt có thể công khai những nội dung riêng tư của Website. Điều đó cũng có nghĩa là những người có ý định xấu có thể dễ dàng tìm thấy chúng hơn

Thế nên, tốt hơn hết là “Noindex” các trang này và đặt chúng sau một biểu mẫu đăng nhập thay vì vào tệp Robots.txt của bạn

- Xác định tham số URL trong Google Search Console

Một số Website (phổ biến nhất với thương mại điện tử) cung cấp cùng một nội dung trên nhiều URL khác nhau bằng cách nối thêm các tham số nhất định vào URL. Điển hình là sử dụng các bộ lọc

Google thực hiện công việc khá tốt khi tự mình tìm ra URL chính. Nhưng bạn có thể sử dụng tính năng Thông số URL trong Google Search Console để cho Google biết chính xác cách bạn muốn họ đối xử với các trang của mình

Nếu bạn sử dụng tính năng này để báo cho Googlebot, thu thập dữ liệu không có URL nào có tham số, thì về cơ bản, bạn đang yêu cầu ẩn nội dung này khỏi Googlebot. Điều này có thể dẫn đến việc xóa các trang đó khỏi kết quả tìm kiếm. Đó là những gì bạn muốn nếu các tham số đó tạo các trang trùng lặp, nhưng không lý tưởng nếu bạn muốn các trang đó được lập chỉ mục

>>> Xem thêm: Khai báo website với Google Search Console - Toàn thắng trên mọi chiến lược SEO

4. Quá trình Crawl của Googlebot

Thông qua phần mềm Google Bot (Spider) (đây là một trong những công cụ thu thập dữ liệu nổi tiếng nhất của Google hiện có), Google sẽ lần lượt khám phá và thu thập thông tin của các trang web công khai hiện có trên mạng World Wide Web (WWW).

Bắt đầu từ một trang web hoặc sơ đồ trang web (site map) nào đó được người dùng submit trên công cụ Google Search Console hoặc từ danh sách các website từ lần thu thập dữ liệu trước đó, Google Spider sẽ tiến hành thu thập thông tin trên các trang này, và dò theo tất cả các liên kết trên trang đó giống như khi người dùng duyệt lần lượt tất cả các nội dung trên website.

Googlebot sẽ lần lượt đi từ liên kết này đến các liên kết khác và thu thập tất cả các dữ liệu về trang web đầu tiên cùng tất cả các trang có liên quan đến trang đó. Thậm chí, quá trình này vẫn tiếp tục được tiến hành ở các trang có liên quan và chỉ kết thúc khi tất cả các liên kết có liên quan đến nhau được thu thập hết. Như vậy, chỉ từ một trang web ban đầu, dữ liệu thu về có thể lên đến hàng triệu trang khác.

Quá trình Crawl của Googlebot

Các thông tin về những trang có liên quan này sẽ được thu thập về máy chủ Google phân tích và xem xét để đưa ra quyết định index và xác định chất lượng của website. Ngoài ra, thông qua việc Crawl dữ liệu, Google cũng sẽ xác định xem Website nào cần thu thập thông tin và tần suất cùng số lượng trang trên site đó cần tìm nạp.

Phần mềm này sẽ đặc biệt chú ý tới các trang web mới và những thay đổi đối với các trang web có uy tín hiện tại. Ngoài ra, các liên kết không còn hoạt động cũng được Google quan tâm và quản lý chặt bởi những liên kết này sẽ ảnh hưởng đến việc đánh giá chất lượng của những website được những liên kết này tạo liên kết tới.

Phần lớn, công việc Crawl dữ liệu này hoàn toàn độc lập với những sự can thiệp thêm của người dùng và được Google cài đặt để có thể chạy tự động một cách tối đa. Google sẽ không chấp nhận việc trả phí thêm của người dùng để được Crawl thông tin trang web thường xuyên hơn.

>>> Xem thêm: Sitemap là gì? Tạo sitemaps cho website để đưa website lên top

5. Can thiệp vào việc Crawl dữ liệu của công cụ tìm kiếm

Mặc dù Google không chấp nhận việc can thiệp thêm của người dùng vào quá trình crawl dữ liệu, và việc crawl website của Google Spider đều tự động và không chịu sự tác động của các nhà quản trị website. Chúng ta thường chặn quá trình Crawl 1 phần của website bằng việc dùng file Robots.txt. Hoặc vẫn có những phương pháp giúp website được Google crawl dữ liệu thường xuyên hơn. Cụ thể:

- Tạo nội dung mới trên site một cách thường xuyên và đều đặn

Việc tạo nội dung mới trên site một cách thường xuyên và đều đặn sẽ giúp cho website được công cụ tìm kiếm thu thập dữ liệu một cách thường xuyên hơn. Việc đăng bài đặn mỗi ngày và vào một khung giờ nhất định để ngầm tạo một lịch đăng bài với công cụ tìm kiếm, để từ đó được Crawl và Index thông tin một cách nhanh hơn

Ngoài ra, những website có lượng người truy cập lớn cùng với một lượng dữ liệu lớn trên site hay các trang hoạt động lâu năm và uy tín sẽ có một tần suất Crawl dữ liệu dày đặc hơn

Can thiệp vào việc Crawl dữ liệu của công cụ tìm kiếm

- Sử dụng các công cụ hỗ trợ Index và Crawl

Các công cụ như Google Submit Url và Google Fetch của Search Console có thể giúp kéo spider về đến website trong khoảng thời gian ngắn. Không chỉ giúp Crawl dữ liệu, 2 công cụ này còn có thể giúp website có thể submit một liên kết mới tạo trên trang lên bảng kết quả tìm kiếm của Google một cách nhanh nhất có thể

Tuy nhiên, công cụ này chỉ có thể kéo con bot về trong một thời gian ngắn, và nếu website không có một độ uy tín nhất định (Domain authority) thì sẽ cần lặp lại công việc này nhiều lần để gia tăng tốc độ Crawl và Index

Ngoài ra, còn một số công cụ hỗ trợ index và crawl ngoài như Google Ping cũng có thể hỗ trợ cho website gia tăng tốc độ Crawl dữ liệu và Index trang

6. Các trình thu thập thông tin có bị lỗi khi họ cố truy cập URL của bạn không?

Trong quá trình thu thập dữ liệu URL trên trang web của bạn, trình thu thập thông tin có thể gặp lỗi. Bạn có thể truy cập báo cáo “Crawl Errors” của Google Search Console để phát hiện các URL có thể đang xảy ra.

Báo cáo này sẽ hiển thị cho bạn các lỗi máy chủ và không tìm thấy lỗi. Các tệp nhật ký máy chủ cũng có thể cho bạn thấy điều này cùng với thông tin khác như tần số thu thập dữ liệu, nhưng vì việc truy cập và mổ xẻ các tệp nhật ký máy chủ là một chiến thuật nâng cao hơn.

- Mã 4xx: Khi trình thu thập công cụ tìm kiếm không thể truy cập nội dung của bạn do lỗi máy khách

Lỗi 4xx là lỗi máy khách, nghĩa là URL được yêu cầu chứa cú pháp sai hoặc không thể thực hiện được. Một trong những lỗi 4xx phổ biến nhất là lỗi 404. Những điều này có thể xảy ra do lỗi chính tả URL, trang bị xóa hoặc chuyển hướng bị hỏng

Khi các công cụ tìm kiếm đạt 404, họ không thể truy cập URL. Khi người dùng đạt 404, họ có thể thất vọng và rời đi

- Mã 5xx: Khi trình thu nhập công cụ tìm kiếm không thể truy cập nội dung của bạn do lỗi máy chủ

Lỗi 5xx là lỗi máy chủ, nghĩa là máy chủ của trang web bị lỗi không thể đáp ứng yêu cầu của người tìm kiếm hoặc công cụ tìm kiếm để truy cập trang. Trong báo cáo Lỗi thu thập dữ liệu của Google Search Console, có một tab dành riêng cho các lỗi này. Điều này thường xảy ra vì yêu cầu URL đã hết thời gian, vì vậy Googlebot đã từ bỏ yêu cầu

Các trình thu thập thông tin có bị lỗi khi họ cố truy cập URL của bạn không?

- Hướng giải quyết

Có một cách để nói với cả người tìm kiếm và công cụ tìm kiếm rằng trang của bạn đã di chuyển - chuyển hướng 301 (vĩnh viễn)

Giả sử bạn chuyển một trang từ: example.com/young-dogs/ sang example.com/puppies/

Công cụ tìm kiếm và người dùng cần một liên kết để chuyển từ URL cũ sang URL mới. Liên kết đó là một chuyển hướng 301

Mã trạng thái 301 có nghĩa là trang Web đã di chuyển vĩnh viễn đến một vị trí mới. Do đó, tránh chuyển hướng URL đến các trang không liên quan - URL nơi nội dung của URL cũ không thực sự tồn tại. Nếu một trang đang xếp hạng cho một truy vấn và bạn 301 nó đến một URL có nội dung khác. Nó có thể rơi vào vị trí xếp hạng vì nội dung khiến nó liên quan đến truy vấn cụ thể đó không còn nữa.

7. Kết luận

Trên đây là những thông tin chi tiết về khái niệm Crawl là gì và cách tối ưu quá trình Google thu thập dữ liệu trên Website Vốn rất quan trọng với những doanh nghiệp cung cấp dịch vụ SEO.

Nói chung, để có thể Crawl được các dữ liệu trên trang web, bạn cần kiểm tra cấu trúc Website có ổn định không? có trang nào hay toàn bộ Website chặn quá trình thu thập dữ liệu không? Nội dung trang có đảm bảo để được Index không? Hãy bắt tay chinh sửa để website luôn hoạt động hiệu quả nhất với bot các công cụ tìm kiếm nhé.