ไฟล์ robots.txt ที่เก็บอยู่ในรากของเว็บไซต์ของคุณจะบอกให้หุ่นยนต์เว็บเช่นสไปเดอร์ของ เครื่องมือค้นหา ว่าไดเรกทอรีและไฟล์ใดที่พวกเขาได้รับอนุญาตให้รวบรวมข้อมูล ใช้ไฟล์ robots.txt ได้ง่าย แต่มีบางสิ่งที่คุณควรจำ:
- หุ่นยนต์เว็บหมวกสีดำจะไม่สนใจไฟล์ robots.txt ของคุณ ประเภทที่พบมากที่สุดคือบอทมัลแวร์และโรบ็อตที่กำลังมองหาที่อยู่อีเมลที่จะเก็บเกี่ยว
- โปรแกรมเมอร์ใหม่บางโปรแกรมจะเขียนหุ่นยนต์ที่ไม่สนใจไฟล์ robots.txt นี้มักจะทำโดยไม่ได้ตั้งใจ
- ทุกคนสามารถดูไฟล์ robots.txt ของคุณได้ มักถูกเรียกว่า robots.txt และเก็บไว้ที่รากของเว็บไซต์เสมอ
- สุดท้ายหากมีผู้เชื่อมโยงไปยังไฟล์หรือไดเรกทอรีที่ไฟล์ robots.txt ยกเว้นจากหน้าเว็บที่ไฟล์ robots.txt ไม่ได้รับการยกเว้นเครื่องมือค้นหาอาจค้นพบไฟล์นี้อยู่ดี
อย่าใช้ไฟล์ robots.txt เพื่อซ่อนสิ่งที่สำคัญ คุณควรใส่ข้อมูลสำคัญที่อยู่เบื้องหลัง รหัสผ่านที่ปลอดภัย หรือออกจากเว็บทั้งหมด
วิธีใช้ตัวอย่างไฟล์เหล่านี้
คัดลอกข้อความจากตัวอย่างที่ใกล้เคียงที่สุดกับสิ่งที่คุณต้องการทำและวางลงในไฟล์ robots.txt ของคุณ เปลี่ยนหุ่นยนต์ไดเรกทอรีและชื่อไฟล์เพื่อให้ตรงกับการกำหนดค่าที่คุณต้องการ
ไฟล์ Basic Robots.txt สองไฟล์
User-agent: *
Disallow: /
ไฟล์นี้บอกว่าหุ่นยนต์ใด ๆ (User-agent: *) ที่เข้าใช้งานควรละเว้นทุกๆหน้าบนเว็บไซต์ (Disallow: /)
User-agent: *
ไม่อนุญาตให้ใช้:
ไฟล์นี้บอกว่าหุ่นยนต์ (User-agent: *) ที่เข้าถึงได้อนุญาตให้ดูทุกๆหน้าในเว็บไซต์ (Disallow:)
นอกจากนี้คุณยังสามารถทำได้โดยปล่อยไฟล์ robots.txt ไว้ว่างหรือไม่มีเลยในเว็บไซต์ของคุณ
ป้องกันไดเรกทอรีเฉพาะจาก Robots
User-agent: *
Disallow: / cgi-bin /
Disallow: / temp /
ไฟล์นี้บอกว่าหุ่นยนต์ใด ๆ (User-agent: *) ที่เข้าใช้งานควรละเว้นไดเร็กทอรี / cgi-bin / และ / temp / (Disallow: / cgi-bin / Disallow: / temp /)
ปกป้องหน้าเว็บเฉพาะจาก Robots
User-agent: *
Disallow: /jenns-stuff.htm
ไม่อนุญาต: /private.php
ไฟล์นี้บอกว่าหุ่นยนต์ (User-agent: *) ที่เข้าถึงได้ควรละเว้นไฟล์ /jenns-stuff.htm และ /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php)
ป้องกันหุ่นยนต์เฉพาะจากการเข้าถึงเว็บไซต์ของคุณ
User-agent: Lycos / xx
Disallow: /
ไฟล์นี้กล่าวว่าไม่อนุญาตให้เข้าถึง Lycos bot (User-agent: Lycos / xx) ได้จากทุกที่บนไซต์ (Disallow: /)
อนุญาตให้มีการเข้าใช้งานหุ่นยนต์เฉพาะอย่างเฉพาะหนึ่งแบบเท่านั้น
User-agent: *
Disallow: /
User-agent: Googlebot
ไม่อนุญาตให้ใช้:
ไฟล์นี้จะยกเลิกการทำงานของโรบ็อตทั้งหมดอย่างที่เราได้กล่าวมาข้างต้นและอนุญาตให้ Googlebot (User-agent: Googlebot) สามารถเข้าถึงทุกอย่างได้ (Disallow:)
รวมหลายบรรทัดเพื่อให้ได้รับการยกเว้นที่คุณต้องการ
แม้ว่าจะใช้สาย User-agent ที่มีความครอบคลุมมากเช่น User-agent: * คุณสามารถระบุได้ตามที่คุณต้องการ โปรดจำไว้ว่าหุ่นยนต์อ่านไฟล์ตามลำดับ ดังนั้นถ้าบรรทัดแรกกล่าวว่าหุ่นยนต์ทั้งหมดถูกบล็อกจากทุกอย่างและจากนั้นในภายหลังในไฟล์จะมีข้อความว่าหุ่นยนต์ทั้งหมดได้รับอนุญาตให้เข้าถึงทุกอย่างหุ่นยนต์จะสามารถเข้าถึงทุกอย่างได้
หากคุณไม่แน่ใจว่าคุณได้เขียนไฟล์ robots.txt อย่างถูกต้องหรือไม่คุณสามารถใช้ Search Console ของ Google เพื่อตรวจสอบไฟล์ robots.txt หรือเขียนใหม่ได้