Phân tích cách dùng Robots.txt không đúng cách

[logostyle]

Sử dụng Robots.txt không đúng cách có thể làm công sức mà các dịch vụ SEO gầy dựng đổ sông đổi biển. Những điểm rất căn bản, rất dễ sửa nhưng nếu sai sẽ gây hậu quả nghiêm trọng.

[SIZE=12px]Tập đoàn Liberty Mutual có trụ sở chính đặt tại Thành phố Boston, bang Massachusetts, Mỹ và hiện có hơn 45,000 nhân viên làm việc tại hơn 900 văn phòng trên toàn thế giới.[/SIZE]
[SIZE=12px]Liberty hiện là Tập đoàn bảo hiểm phi nhân thọ lớn thứ 5 tại nước Mỹ, được Tổ chức A.M Best Co. đánh giá ở mức “Xuất sắc” (A/Excellent) và xếp vào danh sách 100 tập đoàn lớn nhất nước Mỹ dựa vào doanh thu năm 2009.[/SIZE]

[SIZE=12px][/SIZE]
Đây là file robots của Liberty Insurance

Kết quả tìm kiếm

Vẫn ở kết quả đầu tiên nhưng không còn chi tiết về description nữa.

Trong source code trang chủ vẫn cho phép robots Index và follow nhưng file robots.txt đã vô hiệu hóa phần meta này. Như vậy, robots.txt có sức mạnh nhiều hơn Meta Tag.
Các kết quả được index trước đây vẫn xuất hiện trên trong phần index. Tuy nhiên nếu không khắc phục, số lượng trang index sẽ từ từ mất đi cho tới khi về không (Zero).

Bonus:
Đặt sai vị trí của Robots.txt sẽ không có tác dụng ở website ILA Việt Nam
ILA Việt Nam đã block khá nhiều liên kết để Robots không vào index những thông tin nhạy cảm, nhưng đặt sai vị trí

Nên Bots vẫn vào đọc nội dung bình thường

 Xem bài liên quan cùng danh mục:

• Tạo sitemap hoàn chỉnh chuẩn seo cho Blogspot 14/05/2017
• simap có cập nhật tự động? 29/07/2015
• Có nên hay không khi đổi sitemap và cập nhật lại 18/04/2015
• Làm cách nào để website của bạn được index trong vài giờ 21/11/2013
• Danh sách forum PR 5 cho anh em vào chiến 20/11/2013
• Tối ưu hóa Onpage hay SEO với Server Log File - Phần 2 16/10/2013
• Tối ưu hóa Onpage hay SEO với Server Log File 15/10/2013
• Bao lâu update sitemap ? 20/08/2013
• Phân tích cách dùng Robots.txt không đúng cách 13/05/2013
• Sitemap là gì ? tại sao website của bạn cần có sitemap ? 25/03/2013

[dohang]

mình vẫn còn gà lắm, mong các bác chỉ giáo thêm

[badboy6869]

Trời ơi giờ mới nhận ra 1 điều, mình đặt sitemap lâu nay bị sai hết rồi, hic hic hằng chi mà nó không ngóc lên top nổi

[dailoi02]

bài viết tăng thêm kinh nghiệm trong lĩnh vực seo

[nguyen quoc tuan]

cảm ơn chủ thớt mình cũng đang phân vân nhưng có bài này thì đã hiểu rõ về robots

[anphatco]

chịu chết, code chuẩn mua sẵn chỉ seo nội dung cho bớt sức

[bomcute]

còn em, giờ em mới biết cái này đấy

[fordnhatrang]

Cái này khó hiểu quá, mình vẫn chưa làm đc. Toàn phải xóa tay.

[tientruong0810]

Sử dụng Robots.txt không đúng cách có thể làm công sức mà các dịch vụ SEO gầy dựng đổ sông đổi biển. Những điểm rất căn bản, rất dễ sửa nhưng nếu sai sẽ gây hậu quả nghiêm trọng.

[trangcucai]

file robot quả thật mình không có dám động tới, chỉ sợ nghịch ltung lại delete cái gì thì die hic

[stevenguyen1102]

Có bác post lên thì mấy bác khác mới rút kinh nghiệm được chứ