Robots.txt คืออะไร สำคัญต่อ SEO อย่างไร พร้อมตัวอย่างการใช้งาน

เวลาที่เราค้นหาสิ่งต่าง ๆ บนอินเทอร์เน็ต ไฟล์ robots.txt ก็ทำงานอยู่เบื้องหลัง ควบคุมการเข้าถึงข้อมูลของเว็บไซต์จากเครื่องมือค้นหา แต่ทำไมมันถึงมีความสำคัญกับ SEO? ในบทความนี้ เราจะมาทำความเข้าใจถึงความสำคัญและวิธีการใช้งานของ robots.txt

1. Robots.txt คืออะไร?

robots.txt คือไฟล์ที่อยู่ใน root directory ของเว็บไซต์ และถูกใช้เพื่อบอกกับ search engine ว่าเว็บไซต์หรือหน้าไหนไม่ควรจะถูกเข้าถึงหรือจัดทำดัชนี (index) โดยบอต (bot) ของเครื่องมือค้นหา อันเนื่องจากบางส่วนของเว็บไซต์อาจไม่เกี่ยวข้องกับผู้ใช้ หรือไม่ต้องการให้แสดงผลในเครื่องมือค้นหา

2. ทำไม Robots.txt ถึงสำคัญต่อ SEO?

ป้องกันความซ้ำซ้อน: การมีเนื้อหาซ้ำซ้อนบนเว็บไซต์ อาจจะทำให้เครื่องมือค้นหาทำการประเมินลดลง เช่น หน้าที่เป็นส่วนของเว็บแอปพลิเคชัน หรือหน้าที่มีข้อมูลซ้ำซ้อน
ลดการใช้ทรัพยากร: เว็บไซต์ที่มีขนาดใหญ่ อาจจะไม่ต้องการให้บอตใช้ทรัพยากรมากเกินไปในการคัดลอกหน้าเว็บ (crawling) ที่ไม่จำเป็น
ปกป้องข้อมูลส่วนตัว: บางเว็บไซต์อาจมีหน้าที่เป็นข้อมูลส่วนตัว หรือข้อมูลที่ไม่ต้องการให้ปรากฏในเครื่องมือค้นหา

3. ตัวอย่างการใช้งาน Robots.txt ที่ถูกต้อง:

ตัวอย่าง 1: หากต้องการให้ทุกบอตไม่สามารถเข้าถึงเว็บไซต์ของคุณได้:

ตัวอย่าง 2: หากต้องการให้บอตของ Google ไม่สามารถเข้าถึงโฟลเดอร์ชื่อ private:

ตัวอย่าง 3: หากต้องการให้บอตสามารถเข้าถึงทุกส่วนของเว็บไซต์:

อ่านคำสั่งการใช้งาน robots.txt เพิ่มเติม: วิธีเขียนและส่งไฟล์ robots.txt

4. เครื่องมือตรวจเช็ค Robots.txt

คุณสามารถตรวจเช็คไฟล์ robots.txt บนเว็บของคุณผ่านเครื่องมือนี้ได้เลย robots.txt Tester

* แต่คุณจะใช้เครื่องมือได้ เว็บของคุณต้องเชื่อมต่ออยู่บน Google search console ไว้ก่อนนะ

5. วิธีสร้างไฟล์ Robots.txt และแก้ไขไฟล์

หากคุณใช้งาน WordPress และมีการใช้ปลั๊กอินสำหรับการทำ SEO เช่น Yoast หรือ Rankmath ปลักอินเหล่านี้จะทำหน้าที่สร้างไฟล์ Robots.txt ให้เองโดยอัตโนมัติ และเราก็สามารถเข้าไปแก้ไขไฟล์ Robots.txt เองได้เลย

วิธีแก้ไขไฟล์ผ่านปลั๊กอิน Yoast

เข้าไปที่หลังบ้านเว็บดูที่เมนู Yoast SEO

คลิกที่คำว่า Tools

คลิกต่อไปที่หัวข้อ File editor

ถ้าเว็บเราไฟล์ Robots.txt ยังไม่ได้ถูกสร้างเอาไว้ เราจะเจอปุ่มคำว่า Create robots.txt file ก็คลิกสร้างได้เลย

รูปด้านล่างคือค่าเริ่มต้นของไฟล์ Robots.txt ที่ถูกสร้างจากปลั๊กอิน Yoast คุณสามารถเข้าไปแก้ไขสิ่งที่ต้องการเพิ่มเติมเองได้เลย

*หมายเหตุ

หากเว็บของใครเข้าไปที่เมนู tools ของ Yoast แล้วไม่เจอหัวข้อ File editor ตามรูปด้านบน แสดงว่า โฮสติ้งที่เราใช้เขาบล็อกเอาไว้ เพื่อความปลอดภัยของเว็บ หากเราต้องการจะสร้างไฟล์ หรือแก้ไข ไฟล์ Robots.txt ต้องไปแก้ไขที่โฟล์เดอร์ File manager บนโฮสติ้งนะ หรือติดต่อให้ทางโฮสช่วยแก้ไขไฟล์ให้เราแทนครับ

6. ปิดกันบอทบน Robots.txt กับปิดกันบอทด้วยคำสั่ง Noindex แตกต่างกันอย่างไร

การทำ Disallow บนไฟล์ Robots.txt และการใช้คำสั่ง Noindex มีเป้าหมายเดียวกัน คือ ทำหน้าที่ปิดกันบอทจากเครื่องมือค้นหาต่างๆ ไม่ให้เข้ามาเก็บข้อมูล แต่สิ่งที่ทำให้การปิดกั้นทั้ง 2 อย่างนี้มีความแตกต่างกัน ก็คือ

การเลือกใช้คำสั่งบน ไฟล์ Robots.txt มุ่งเน้นปิดกันบอทแบบทั้งระบบ แบบว่าตั้งค่าที่เดียว ปิดกันทั้งหมดในจุดที่เราต้องการ เช่น ปิดกันการเก็บข้อมูลภายในบางโฟลเดอร์ บนเว็บไซต์

ส่วนการใช้คำสั่ง Noindex เป็นการปิดกันบอท ไม่ให้มาเก็บข้อมูลในส่วนที่เป็นเนื้อหาบนเว็บหน้าเว็บ หน้าใดหน้าหนึ่งเป็นหลัก และเราสามารถตั้งค่าที่หน้านั้นๆ ได้เลย หน้าใครหน้ามัน

อ่านเพิ่มเติม: Noindex คืออะไร ควรทำตอนไหน

สรุป:

robots.txt เป็นเครื่องมือที่มีความสำคัญต่อ SEO เนื่องจากเป็นวิธีการควบคุมการเข้าถึงของบอต ทำให้เราสามารถกำหนดสิ่งที่ต้องการและไม่ต้องการในการแสดงผลบนเครื่องมือค้นหาได้ การใช้งานที่ถูกต้องจึงมีความสำคัญมากในการประเมินคะแนน SEO ของเว็บไซต์

กรณีใช้งาน robots.txt ควรตรวจสอบให้แน่ใจว่าคำสั่งไม่ทำให้บอตบล็อกส่วนที่คุณต้องการให้แสดงในเครื่องมือค้นหา และในบางกรณี การเข้าถึงข้อมูลบนเว็บไซต์ ควรพิจารณาเรื่องความปลอดภัยและข้อมูลส่วนตัวเป็นหลัก

SEO