วิธีการบล็อก AI Crawler Bots โดยใช้ Robots.txt
ไฟล์ robots.txt เป็นไฟล์ที่เจ้าของเว็บไซต์ใช้ในการจัดการและควบคุมพฤติกรรมของบอทต่าง ๆ ที่จะเข้ามายังเว็บของเรา ส่วนมากจะเอามาใช้กำหนดว่าให้ Search engine bot เข้ามาได้หรือไม่ เพื่อเป็นการเก็บ index ภายในเว็บของเรา เวลาคนค้นหาจะได้เจอเว็บเรา และเข้ามายังเว็บ เราก็จะได้ Traffic...
