Robots.txt คืออะไร ทำไมต้องมี และสำคัญยังไง

Search Engine ฺฺส่ง Bot เข้ามาเยี่ยมยังเว็บไซต์ของคุณ สิ่งที่มันจะมองหาอันดับแรกๆ นอกจากลิงก์ หรือไฟล์ต่างๆ แล้วก็จะเป็นไฟล์ Robots.txt นี่ล่ะครับ เปรียบเสมือนเป็นคำสั่งบอกไปยัง Bot ว่าอนุญาตหรือไม่อนุญาตให้เก็บข้อมูลตรงไหนไปหรือให้มองข้ามข้อมูลที่ไหนไป ไม่ต้อง Index เก็บข้อมูล


robots.txt เป็นไฟล์ที่บอกให้ Search Engine เช่น google ,yahoo มาเก็บข้อมูลในหน้าเว็บไซต์ของเรา ซึ่งในทางปฏิบัติแล้ว มันจะเก็บทุกส่วนของเว็บไซต์เรา ซึ่งถ้าเราไม่ต้องการให้มันเรียกเก็บข้อมูลในส่วนไหน เราก็สามารถป้องกันได้ ด้วยไฟล์ robots.txt นี้เอง


โรบอต (Robot) เป็นโปรแกรมเก็บข้อมูลในอินเตอร์เน็ต ซึ่งบางครั้ง เรียกว่าสไปเดอร์ (Spider) หรือ ครอว์เลอร์(Crawler) จะทําหน้าที่รวบรวมไฟล์ HTML เพื่อมาเป็นข้อมูล สําหรับสร้างดัชนีค้นหา ให้กับ เสิร์จเอ็นจิน (Search Engine) โดยทั่วไปแล้ว โรบอตจะกลับมาที่เว็บไซต์ที่อ่านไปแล้ว เพื่อตรวจสอบ การเปลี่ยนแปลง ตามระยะเวลาที่กําหนด

ดังนั้นเราต้องสร้างไฟล์ robots.txt ขึ้นมา เพื่อกำหนดว่าจะให้ Robot เข้าไปยังโฟลเดอร์ไหนได้บ้าง

การสร้าง Robots.txt ก็ไม่มีขั้นตอนอะไรซับซ้อนมากครับ เพียงแค่คุณสร้างไฟล์ robots.txt จากโปรแกรม Text Edittor ธรรมดานี่เอง แล้วก็ เขียนคำสั่งไปทีบรรทัด

หลังจากนั้นก็อปปี้ข้อความนี้ลงไปในไฟล์ robotx.txt ครับ

User-Agent: *
Allow: /

User-agent: *  
ส่วนใหญ่ใช้ * แทน bot ทุกตัวเพื่อง่ายต่อการเขียนคำสั่ง
Disallow:
ไม่ต้องใส่อะไรหลังคำสั่ง Disallow:  เป็นคำสั่งให้ Bot นั้น Index เว็บเพจทุกหน้า ไฟล์ทุกไฟล์ เป็นคำสั่งที่นิยมใช้มากที่สุด
Disallow: /admin
ถ้าแบบนี้จะหมายถึงสั่งให้ bot มองข้ามโฟลเดอร์ /admin ไปเลยครับ หรือ
Disallow: /
จะสั่งให้ Bot ไม่ต้อง index อะไรทั้งสิ้นจากเว็บนี้ ไม่ว่าจะโฟลเดอร์ไหน ไฟล์ใดก็ตาม


Robots.txt นี้หากไม่มีก็ไม่ผิด แต่ถ้ามีไว้ก็จะช่วยให้ Google bot รู้ได้ทันทีนะครับว่าต้องทำอะไรต่อบ้าง มีผลดีต่อ Ranking เว็บของคุณแน่นอนครับ



สคริปต์เช็คบอท บอทมาเยี่ยมล่าสุดเมื่อ ??? +++ ( Saveเป็นไฟล์ bot.php แล้อัพโหลดไปที่เดียวกับไฟล์เว็บไซต์)
<?
if (strstr($_SERVER['HTTP_USER_AGENT'], 'Yandex')){ $bot='Yandex';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'Googlebot')){$bot='Google';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'Mediapartners-Google')){$bot='Mediapartners-Google (Adsense)';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'Slurp')){$bot='Hot Bot search';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'WebCrawler')){$bot='WebCrawler search';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'ZyBorg')){$bot='Wisenut search';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'scooter')){$bot='AltaVista';}  
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'StackRambler')){$bot='Rambler';}  
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'Aport')){$bot='Aport';}  
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'lycos')){$bot='Lycos';}  
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'WebAlta')){$bot='WebAlta';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'yahoo')){$bot='Yahoo';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'msnbot')){$bot='msnbot/1.0';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'ia_archiver')){$bot='Alexa search engine';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'FAST')){$bot='AllTheWeb';}
 
if($bot !=""){
$tdiff = 3600 * 0; // เปลี่ยนจาก 0 เป็น 7 ถ้า Server นอก (GMT) หรือเพิ่มลดได้ตามแต่ Time Zone อยู่ที่ได (GMT -12 ถึง GMT +13)
$file = "bots.txt";
$day = date("d/m/Y",time() + $tdiff);
$time = date("H:i:s",time() + $tdiff);
$ip = $_SERVER['REMOTE_ADDR'];
$fh = fopen($file, "w");
fwrite($fh, "$day|$time|$bot|$ip");
fclose($fh);
}

$month[1] = "มกราคม";
$month[2] = "กุมภาพันธ์";
$month[3] = "มีนาคม";
$month[4] = "เมษายน";
$month[5] = "พฤษภาคม";
$month[6] = "มิถุยายน";
$month[7] = "กรกฎาคม";
$month[8] = "สิงหาคม";
$month[9] = "กันยายน";
$month[10] = "ตุลาคม";
$month[11] = "พฤศจิกายน";
$month[12] = "ธันวาคม";

$file = "bots.txt";
if(file_exists($file)) {
$fh = fopen($file, 'r+');
$s = filesize($file);
if($s == 0) {
$out = "<strong>บอทยังไม่ได้มาเก็บข้อมูล</strong>";
}else{
$contents = fread($fh, $s);
fclose($fh);

$info = explode("|",$contents);
$day = explode("/",$info[0]);
$m = number_format($day[1]);
$tm = explode(":",$info[1]);
$agent = $info[2];
$ip = $info[3];

$out = "<strong>บอทตัวล่าสุดที่เข้ามาเก็บข้อมูล คือ ".$agent ." ($ip) ";

if(date('d',time()) == $day[0]){
$out .= " วันนี้";
}else{
$out .=" เมื่อวันที่ ".$day[0]." ".$month[$m]." ". ($day[2]+543);
}
$out .= " เวลา ". $tm[0]. ".".$tm[1]." น.</strong>";

}
echo $out;
}
?>