Tối ưu hóa WordPress Robots.txt – Tệp Robots.txt cho các công cụ tìm kiếm biết cách thu thập dữ liệu trang web của bạn, điều này làm cho nó trở thành một công cụ SEO cực kỳ mạnh mẽ.
Tệp Robots.txt cho các công cụ tìm kiếm biết cách thu thập dữ liệu và lập chỉ mục trang web của bạn, điều này làm cho nó trở thành một công cụ SEO cực kỳ mạnh mẽ. Trong bài viết này, chúng tôi sẽ hướng dẫn bạn cách tối ưu hóa WordPress Robots.txt một cách hoàn hảo cho SEO.
Tệp robots.txt là gì?
Robots.txt là một tệp văn bản mà chủ sở hữu trang web có thể tạo để cho các bot của công cụ tìm kiếm biết cách thu thập thông tin và lập chỉ mục các trang trên trang web của họ.
Nó thường được lưu trữ trong thư mục gốc hay còn gọi là thư mục chính của trang web. Định dạng cơ bản cho tệp robots.txt trông giống như sau:
User-agent: [user-agent name] Disallow: [URL string not to be crawled] User-agent: [user-agent name] Allow: [URL string to be crawled] Sitemap: [URL of your XML Sitemap]
Bạn có thể có nhiều dòng để cho phép hoặc không cho phép các URL cụ thể và thêm sơ đồ trang web. Nếu bạn không cho phép URL, thì các bot của công cụ tìm kiếm sẽ cho rằng chúng được phép thu thập thông tin.
Dưới đây là một ví dụ về tệp robots.txt:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Sitemap: https://example.com/sitemap_index.xml
Trong ví dụ trên, chúng tôi đã cho phép các công cụ tìm kiếm thu thập thông tin và lập chỉ mục các tệp trong thư mục tải lên WordPress.
Sau đó, chúng tôi không cho phép các bot tìm kiếm thu thập thông tin và lập chỉ mục thư mục wp-admin và các plugin.
Cuối cùng, chúng tôi đã cung cấp URL của sơ đồ trang XML.
Bạn có cần tệp Robots.txt cho trang web WordPress của mình không?
Nếu bạn không có tệp robots.txt, các công cụ tìm kiếm sẽ vẫn thu thập thông tin và lập chỉ mục trang web của bạn. Tuy nhiên, bạn sẽ không thể cho các công cụ tìm kiếm biết những trang hoặc thư mục nào chúng không nên thu thập thông tin.
Điều này sẽ không ảnh hưởng nhiều khi bạn bắt đầu một blog và không có nhiều nội dung. Tuy nhiên, khi trang web của bạn phát triển và bạn có nhiều nội dung, thì bạn có thể muốn kiểm soát nhiều hơn cách trang web của bạn được thu thập thông tin và lập chỉ mục.
Các bot tìm kiếm có một hạn ngạch thu thập thông tin cho mỗi trang web. Điều này có nghĩa là họ thu thập dữ liệu các trang nhất định trong một phiên thu thập thông tin. Nếu họ không hoàn thành việc thu thập thông tin tất cả các trang trên trang web của bạn, họ sẽ quay lại và tiếp tục thu thập thông tin trong phiên tiếp theo.
Điều này có thể làm chậm tốc độ lập chỉ mục trang web của bạn. Bạn có thể khắc phục điều này bằng cách không cho phép bot tìm kiếm cố gắng thu thập dữ liệu các trang không cần thiết như wp-admin, thư mục plugin và thư mục chủ đề.
Bằng cách không cho phép các trang không cần thiết, bạn tiết kiệm được hạn ngạch thu thập thông tin của mình. Điều này giúp công cụ tìm kiếm thu thập thông tin nhiều trang hơn trên trang web của bạn và lập chỉ mục chúng nhanh nhất có thể.
Một lý do chính đáng khác để sử dụng tệp robots.txt là khi bạn muốn ngăn các công cụ tìm kiếm lập chỉ mục bài đăng hoặc trang trên trang web của bạn.
Đây không phải là cách an toàn nhất để ẩn nội dung khỏi công cụ tìm kiếm, nhưng nó sẽ giúp bạn ngăn chúng xuất hiện trong kết quả tìm kiếm.
Tối ưu hóa WordPress Robots.txt Hoàn hảo cho SEO
Nhiều trang blog sử dụng tệp robots.txt rất đơn giản. Nội dung của chúng có thể khác nhau, tùy thuộc vào nhu cầu của trang web cụ thể:
User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
Tệp robots.txt này cho phép tất cả các bot lập chỉ mục tất cả nội dung và cung cấp cho chúng một liên kết đến sơ đồ trang XML.
Đối với các trang web WordPress, chúng tôi đề xuất các quy tắc sau trong tệp robots.txt:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Disallow: /readme.html Disallow: /refer/ Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
Điều này yêu cầu các bot tìm kiếm lập chỉ mục tất cả các hình ảnh và tệp WordPress. Nó không cho phép bot tìm kiếm lập chỉ mục các tệp plugin, khu vực quản trị WordPress, tệp readme WordPress và các liên kết liên kết.
Bằng cách thêm sơ đồ trang web vào tệp robots.txt, bạn có thể dễ dàng cho phép các bot của Google tìm thấy tất cả các trang trên trang web của bạn.
Bây giờ bạn đã biết tệp robots.txt lý tưởng sẽ trông như thế nào, hãy xem cách bạn có thể tạo tệp robots.txt trong WordPress.
Làm thế nào để tạo tệp Robots.txt trong WordPress?
Có hai cách để tạo tệp robots.txt trong WordPress. Bạn có thể chọn phương pháp phù hợp nhất với mình.
Phương pháp 1: Chỉnh sửa tệp Robots.txt bằng SEO Yoast
Nếu bạn đang sử dụng plugin Yoast SEOnó có trình tạo tệp robots.txt tích hợp sẵn.
Bạn có thể sử dụng nó để tạo và chỉnh sửa tệp robots.txt trực tiếp từ trang quản trị WordPress của mình.
Chỉ cần truy cập SEO »Công cụ» Trình chỉnh sửa tệp.
Tại trang SEO Files Editor, Yoast sẽ hiển thị tệp robots.txt hiện tại của bạn.
Tại đây, bạn có thể tạo các quy tắc robots.txt của riêng mình. Chúng tôi khuyên bạn nên sử dụng định dạng robots.txt lý tưởng mà chúng tôi đã chia sẻ ở trên.
Khi bạn hoàn tất, hãy nhấp vào nút “Lưu các thay đổi đối với robots.txt”Để lưu các thay đổi của bạn.
Phương pháp 2. Chỉnh sửa tệp Robots.txt bằng FTP
Đối với phương pháp này, bạn sẽ cần sử dụng ứng dụng khách FTP để chỉnh sửa tệp robots.txt. Chỉ cần kết nối với tài khoản lưu trữ của bạn bằng FTP.
Khi vào bên trong, bạn sẽ có thể thấy tệp robots.txt trong thư mục gốc của trang web của bạn.
Nếu bạn không thấy tệp, có thể bạn không có tệp robots.txt. Trong trường hợp đó, bạn có thể tạo một tệp mới
Sự kết luận
Chúng tôi hy vọng bài viết này đã giúp bạn tìm hiểu cách tối ưu hóa WordPress Robots.txt cho SEO. Nếu có ý kiến đóng góp, bạn có thể để lại bình luận bên dưới. Bạn cũng có thể xem một số hướng dẫn SEO WordPress của chúng tôi tại đây:
