Bạn đã bao giờ nghe nói về tệp robots.txt chưa? Đây là loại tệp cực kỳ quan trọng giúp doanh nghiệp nâng cấp trang web của tôi. Vậy thực tế sử dụng robots.txt là gì và nó được sử dụng như thế nào? Chúng ta cùng tìm hiểu về nó trong bài viết dưới đây nhé!
Những bài viết liên quan:
Tệp robots.txt giúp ích gì cho trang web của bạn?
Tệp robots.txt là gì?
Tệp robots.txt là tiêu chuẩn loại trừ được các trang web sử dụng để nâng cấp trang webcó thể yêu cầu trình thu thập thông tin và rô bốt web.
Robot web, trình thu thập thông tin hay gọi tắt là bot, chạy xung quanh trang web của bạn và thu thập thông tin cho các công cụ tìm kiếm như Google, Yahoo hoặc Bing. Nhưng không phải tất cả thông tin trên trang web doanh nghiệp đều nên được thu thập thông tin bởi bot. Do đó, tệp robots.txt đã ra đời. Chúng giúp bạn điều hướng bot và chỉ ra những thông tin nào nên và không nên thu thập.
Tuy nhiên, không phải mọi bot sẽ tuân theo các quy tắc mà bạn đưa ra trong tệp robots.txt của mình. Nó chỉ đưa ra những yêu cầu hợp lý, không ảnh hưởng đến nguyên tắc của công cụ tìm kiếm.
Tệp robots.txt giúp hướng dẫn thông tin mà bot thu thập
Trang web doanh nghiệp của bạn có cần tệp robots.txt không?
Một trang web, cho dù là cá nhân hay doanh nghiệp, không nhất thiết phải có tệp robots.txt. Nếu không có tệp robots.txt, khi bot truy cập vào trang web của bạn, nó sẽ vẫn hoạt động như bình thường. Nó vẫn có thể thu thập dữ liệu web và lập chỉ mục và gửi thông tin đến các công cụ tìm kiếm.
Tệp robots.txt sẽ thực sự hữu ích và cần thiết nếu bạn muốn nâng cấp giao diện công ty, kiểm soát nhiều hơn thông tin được thu thập bởi bot. Một số lợi ích của việc sử dụng tệp robots.txt là:
- Giúp kiểm soát tình trạng quá tải của máy chủ.
- Giúp kiểm soát những thông tin mà bot thu thập, tránh lãng phí khi bot thu thập những thông tin không cần thiết mà bạn không mong muốn.
- Giúp giữ riêng tư cho một số thư mục và tên miền phụ.
Tệp robots.txt có ngăn các bài viết trên trang web của bạn được lập chỉ mục không?
Tệp robots.txt không thể ngăn nội dung được lập chỉ mục và hiển thị trong kết quả tìm kiếm. Hơn nữa, không phải tất cả rô bốt sẽ tuân theo các hướng dẫn giống nhau, vì vậy một số rô bốt vẫn sẽ lập chỉ mục nội dung bạn đặt để không được thu thập thông tin.
Ngoài ra, bot cũng sẽ lập chỉ mục nội dung trang web mà doanh nghiệp không muốn hiển thị trong kết quả tìm kiếm bằng các liên kết bên ngoài.
Robots.txt không thể ngăn các bài viết của trang web được lập chỉ mục bởi chính nó
Một cách để đảm bảo nội dung của bạn không được lập chỉ mục là thêm thẻ meta chống lập chỉ mục vào trang. Đó là một dòng mã trong html của trang trông giống như sau:
Một lưu ý là nếu bạn muốn các công cụ tìm kiếm không lập chỉ mục một trang, bạn sẽ cần cho phép robots.txt thu thập dữ liệu trang đó.
Tệp robots.txt nằm ở đâu?
Vị trí của tệp robots.txt nằm ở thư mục gốc của trang web của bạn. Ví dụ: đối với trang web https://www.chili.com, tệp robots.txt sẽ được tìm thấy tại https://www.chili.com/robots.txt.
Trong hầu hết các trang web, bạn có thể truy cập tệp thực để chỉnh sửa nó trong FTP hoặc bằng cách truy cập Trình quản lý tệp trong bảng điều khiển của máy chủ.
Các tệp có thể được chỉnh sửa bằng FTP hoặc bằng bảng điều khiển
Cách sử dụng tệp robots.txt
Trước tiên, để tạo tệp robots.txt cho bạn nâng cấp trang web rất dễ. Bạn có thể kiểm tra xem tệp này có tồn tại trên máy chủ của bạn hay không. Nếu bạn chưa có, bạn có thể thêm tệp bằng cách làm theo các bước sau:
- Bước 1: Mở một trình soạn thảo văn bản mà bạn thường sử dụng. Nó có thể là Notepad, Microsoft Word hoặc Textedit, miễn là trình chỉnh sửa có khả năng tạo tệp văn bản UTF-8 tiêu chuẩn.
- Bước 2: Thêm các chỉ thị bạn muốn đưa vào tài liệu.
- Bước 3: Lưu tệp dưới dạng “rô bốt. txt ”
- Bước 4: Kiểm tra tệp của bạn.
- Bước 5: Tải tệp .txt lên máy chủ của bạn bằng FTP hoặc bảng điều khiển tùy thuộc vào loại trang web của bạn.
Bạn có thể chạy mã trong tệp robots.txt mà bạn vừa tạo để đảm bảo rằng nó hợp lệ. Điều này giúp ngăn ngừa các sự cố có thể xảy ra với các chỉ thị không chính xác.
Cách thực hiện là bạn truy cập trang Hỗ trợ của Google, sau đó mở trình kiểm tra robots.txt và chọn thuộc tính bạn muốn kiểm tra. Sau đó, bạn chỉ cần xóa những gì hiện có trong hộp thư mục và thay thế nó bằng mã mới của bạn rồi nhấp vào nút kiểm tra. Nếu phản hồi được cho phép thì mã của bạn hợp lệ.
CHILI Hy vọng những chia sẻ trên đã có thể giúp bạn hiểu thêm về file robots.txt cũng như cách sử dụng để đóng góp. nâng cấp trang web Làm cho của bạn chuyên nghiệp hơn.
