Như chúng ta đã biết, file Robots.txt được sử dụng trong mỗi trang web có nhiệm vụ thu thập dữ liệu trang web, trích xuất thông tin cho các con bọ tìm kiếm làm việc hiệu quả, những con bọ tìm kiếm sẽ index từ khóa và các thông tin gốc của trang, phục vụ cho người dùng khi gõ thông tin vào công cụ tìm kiếm để tìm đến các từ, đoạn có chứa nội dung từ khóa này. Nhưng đối với giao diện thiết kế trên blogspot cũ thì không thể thêm tập tin Robots.txt này vào được. Bởi vì các thiết kế cổ điển không cho phép điều này. Hiện nay trên giao diện blog mới thì hoàn toàn tuyệt vời, có rất nhiều tính năng được mới được thêm vào và rất dễ dàng để kích hoạt file Robots.txt trong Blogger. Đối với những người mớivẫn chưa biết về tập tin robots.txt, bạn có thể đọc các đoạn văn giải thích dưới đây để hiểu thêm về tập tin đó.
Robots.txt File
là gì?
Đó là một tập tin
văn bản đơn giản, trong đó các chủ sở hữu trang web sử dụng để viết các lệnh nhằm
thu thập các thông tin trang web phục vụ cho các công cụ tìm kiếm. Có nghĩa là
tập tin lệnh này có thể hướng dẫn các công cụ tìm kiếm thu thập các thông tin trên trang web, bằng các câu lệnh được viết bởi trình mã hóa khác nhau, mà chỉ dành cho
trình thu thập công cụ tìm kiếm. Bạn có thể xem tập tin robots.txt hay
một trang web nào đó bằng cách làm theo URL câu lệnh dưới đây.
http://www.tenmien.com/robots.txt
Bạn muốn
Robots.txt sẽ thu thập những thông tin nào và cấm nó thu thập thông tin nào
trên website?
Đây là câu hỏi
hoàn toàn khó, nhất là đối với những người mới mà chưa làm quen với tập tin
này. Nhưng đối với blogger trưởng thành thì lại quen thuộc quá với tập tin này.
Một điều đặt ra ở đây là bạn cho phép Robots.txt thu thập những phần nào để
trang web được tối ưu nhất và xếp hạng cao nhất. Trên thực tế, có
thể không cho phép bất kỳ khu vực nào trong blog được thu thập thông tin, nhưng
có một số lĩnh vực quan trọng buộc bạn phải cho phép thu thập. Nếu chúng ta không
cho phép những khu vực đó được thu thập thông tin, thì trang web sẽ mất đi một số tính năng đặc
biệt dành cho công cụ tìm kiếm, và khả năng trang đó sẽ đánh đổi với một thứ hạng thấp so với
một trang web khác cùng chủ đề.
Kích hoạt tính
năng của File Robots.txt trong Blogger
Rất dễ dàng bạn
chỉ cần làm theo các bước đơn giản dưới đây.
- Đăng nhập vào Blogger - vào Cài đặt - vào phần Tùy chọn tìm kiếm
- Trong phần Robots.txt tùy chỉnh kích chọn Chỉnh sửa
- Bây giờ một hộp thoại sẽ xuất hiện yêu cầu tích vào nút "Yes" và một hộp thoại khác sẽ xuất hiện. Đó là nơi để dán file robots.txt. Copy đoạn code bên dưới và dán vào hộp thoại đó. Thay http://www.yourdmomain.com bằng trang web hiện tại.
- Cuối cùng ấn vào "Lưu thay đổi"
User-agent: Mediapartners-Google User-agent: * Disallow: /search?q=* Disallow: /*?updated-max=* Allow: / Sitemap: http://www.yourdmomain.com/feeds/posts/default?orderby=updated
- Giải thích
User-agent:
Mediapartners-Google: Chỉ dành cho Google Adsense. Đây là một lệnh đầu tiên cho
những blog đang sử dụng Google AdSense nếu bạn không sử dụng Google AdSense thì
nên loại bỏ nó. Trong lệnh này, chúng ta đang hướng dẫn cho con robot riêng của
AdSense thu thập dữ liệu tất cả các trang mà đang có quảng cáo AdSense.
User-agent: *: Ở
đây User-agent đang kêu gọi các robot và *
là dành cho tất cả các robot công cụ tìm kiếm của Google, Yahoo, Bing,
Yandex, Baidu..vv
Disallow: /
search q = *: dòng này cho trình thu thập các công cụ tìm kiếm chứ không phải để
thu thập dữ liệu các trang tìm kiếm.
Disallow: / * cập
nhật-max = *: Cái này không cho phép thu thập các công cụ tìm kiếm để không chỉ
mục hoặc thu thập nhãn dữ liệu bài viết hoặc điều hướng trang.
Allow: /: Lệnh này cho phép lập chỉ mục tất cả các
trang web hoặc blog.
Sitemap: Lệnh này
cho trình thu thập các công cụ tìm kiếm để lập chỉ mục cho tất cả các bài viết
mới hoặc cập nhật.
Trên đây là hướng
dẫn của tôi để tạo ra một file Robots.txt theo chuẩn google cho blog.
Hãy theo dõi bài viết tiếp theo tôi về hướng dẫn cách tối ưu hóa công cụ
tìm kiếm thông qua tập tin Robots.txt, nếu
bạn thấy hài lòng hay chưa hài lòng với bài viết này thì hãy để lại cho tôi một
số ý kiến bình luận ở dưới trang này. Nếu là blogger mới, sau khi đã đọc qua các bài viết Cách tạo blog cá nhân, Cách cài đặt cơ bản cho blog, Cách trỏ tên miền về blog, bước tiếp theo đọc tiếp bài tạo form liên hệ bằng Google Form để hoàn thiện trang web của mình.
No comments:
Post a Comment