ข้ามไปที่เนื้อหาหลัก

Robots.txt คืออะไร ทำไมต้องมี และสำคัญยังไง

    Search Engine ฺฺส่ง Bot เข้ามาเยี่ยมยังเว็บไซต์ของคุณ สิ่งที่มันจะมองหาอันดับแรกๆ นอกจากลิงก์ หรือไฟล์ต่างๆ แล้วก็จะเป็นไฟล์ Robots.txt นี่ล่ะครับ เปรียบเสมือนเป็นคำสั่งบอกไปยัง Bot ว่าอนุญาตหรือไม่อนุญาตให้เก็บข้อมูลตรงไหนไปหรือให้มองข้ามข้อมูลที่ไหนไป ไม่ต้อง Index เก็บข้อมูล

    robots.txt เป็นไฟล์ที่บอกให้ Search Engine เช่น google ,yahoo มาเก็บข้อมูลในหน้าเว็บไซต์ของเรา ซึ่งในทางปฏิบัติแล้ว มันจะเก็บทุกส่วนของเว็บไซต์เรา ซึ่งถ้าเราไม่ต้องการให้มันเรียกเก็บข้อมูลในส่วนไหน เราก็สามารถป้องกันได้ ด้วยไฟล์ robots.txt นี้เอง


    โรบอต (Robot) เป็นโปรแกรมเก็บข้อมูลในอินเตอร์เน็ต ซึ่งบางครั้ง เรียกว่าสไปเดอร์ (Spider) หรือ ครอว์เลอร์(Crawler) จะทําหน้าที่รวบรวมไฟล์ HTML เพื่อมาเป็นข้อมูล สําหรับสร้างดัชนีค้นหา ให้กับ เสิร์จเอ็นจิน (Search Engine) โดยทั่วไปแล้ว โรบอตจะกลับมาที่เว็บไซต์ที่อ่านไปแล้ว เพื่อตรวจสอบ การเปลี่ยนแปลง ตามระยะเวลาที่กําหนด

    ดังนั้นเราต้องสร้างไฟล์ robots.txt ขึ้นมา เพื่อกำหนดว่าจะให้ Robot เข้าไปยังโฟลเดอร์ไหนได้บ้าง

    การสร้าง Robots.txt ก็ไม่มีขั้นตอนอะไรซับซ้อนมากครับ เพียงแค่คุณสร้างไฟล์ robots.txt จากโปรแกรม Text Edittor ธรรมดานี่เอง แล้วก็ เขียนคำสั่งไปทีบรรทัด

    หลังจากนั้นก็อปปี้ข้อความนี้ลงไปในไฟล์ robotx.txt ครับ

    User-Agent: *
    Allow: /
    User-agent: *  
    ส่วนใหญ่ใช้ * แทน bot ทุกตัวเพื่อง่ายต่อการเขียนคำสั่ง
    Disallow:
    ไม่ต้องใส่อะไรหลังคำสั่ง Disallow:  เป็นคำสั่งให้ Bot นั้น Index เว็บเพจทุกหน้า ไฟล์ทุกไฟล์ เป็นคำสั่งที่นิยมใช้มากที่สุด
    Disallow: /admin
    ถ้าแบบนี้จะหมายถึงสั่งให้ bot มองข้ามโฟลเดอร์ /admin ไปเลยครับ หรือ
    Disallow: /
    จะสั่งให้ Bot ไม่ต้อง index อะไรทั้งสิ้นจากเว็บนี้ ไม่ว่าจะโฟลเดอร์ไหน ไฟล์ใดก็ตาม

    Robots.txt นี้หากไม่มีก็ไม่ผิด แต่ถ้ามีไว้ก็จะช่วยให้ Google bot รู้ได้ทันทีนะครับว่าต้องทำอะไรต่อบ้าง มีผลดีต่อ Ranking เว็บของคุณแน่นอนครับ

    สคริปต์เช็คบอท บอทมาเยี่ยมล่าสุดเมื่อ ??? +++ ( Saveเป็นไฟล์ bot.php แล้อัพโหลดไปที่เดียวกับไฟล์เว็บไซต์)
    <?
    if (strstr($_SERVER['HTTP_USER_AGENT'], 'Yandex')){ $bot='Yandex';}
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'Googlebot')){$bot='Google';}
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'Mediapartners-Google')){$bot='Mediapartners-Google (Adsense)';}
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'Slurp')){$bot='Hot Bot search';}
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'WebCrawler')){$bot='WebCrawler search';}
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'ZyBorg')){$bot='Wisenut search';}
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'scooter')){$bot='AltaVista';}  
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'StackRambler')){$bot='Rambler';}  
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'Aport')){$bot='Aport';}  
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'lycos')){$bot='Lycos';}  
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'WebAlta')){$bot='WebAlta';}
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'yahoo')){$bot='Yahoo';}
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'msnbot')){$bot='msnbot/1.0';}
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'ia_archiver')){$bot='Alexa search engine';}
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'FAST')){$bot='AllTheWeb';}
     
    if($bot !=""){
    $tdiff = 3600 * 0; // เปลี่ยนจาก 0 เป็น 7 ถ้า Server นอก (GMT) หรือเพิ่มลดได้ตามแต่ Time Zone อยู่ที่ได (GMT -12 ถึง GMT +13)
    $file = "bots.txt";
    $day = date("d/m/Y",time() + $tdiff);
    $time = date("H:i:s",time() + $tdiff);
    $ip = $_SERVER['REMOTE_ADDR'];
    $fh = fopen($file, "w");
    fwrite($fh, "$day|$time|$bot|$ip");
    fclose($fh);
    }

    $month[1] = "มกราคม";
    $month[2] = "กุมภาพันธ์";
    $month[3] = "มีนาคม";
    $month[4] = "เมษายน";
    $month[5] = "พฤษภาคม";
    $month[6] = "มิถุยายน";
    $month[7] = "กรกฎาคม";
    $month[8] = "สิงหาคม";
    $month[9] = "กันยายน";
    $month[10] = "ตุลาคม";
    $month[11] = "พฤศจิกายน";
    $month[12] = "ธันวาคม";

    $file = "bots.txt";
    if(file_exists($file)) {
    $fh = fopen($file, 'r+');
    $s = filesize($file);
    if($s == 0) {
    $out = "<strong>บอทยังไม่ได้มาเก็บข้อมูล</strong>";
    }else{
    $contents = fread($fh, $s);
    fclose($fh);

    $info = explode("|",$contents);
    $day = explode("/",$info[0]);
    $m = number_format($day[1]);
    $tm = explode(":",$info[1]);
    $agent = $info[2];
    $ip = $info[3];

    $out = "<strong>บอทตัวล่าสุดที่เข้ามาเก็บข้อมูล คือ ".$agent ." ($ip) ";

    if(date('d',time()) == $day[0]){
    $out .= " วันนี้";
    }else{
    $out .=" เมื่อวันที่ ".$day[0]." ".$month[$m]." ". ($day[2]+543);
    }
    $out .= " เวลา ". $tm[0]. ".".$tm[1]." น.</strong>";

    }
    echo $out;
    }
    ?>

ความคิดเห็น

โพสต์ยอดนิยมจากบล็อกนี้

W3C คืออะไร ???

W3C W3C หรือ World Wide Web Consortium เป็นองค์กรระหว่างประเทศที่ทำงานด้านการพัฒนาเทคโนโลยีเว็บ นำโดยนาย ทิม เบิร์นเนอร์ ลี ก่อตั้งในปี 1994 และมีองค์กรสมาชิกมากกว่า 450 องค์กร ซึ่งรวมถึงองค์กรอย่าง Microsoft, Sun Microsystems และอื่น ๆ อีกมากมาย องค์กรนี้ ประกอบด้วยสถาบัน 3 สถาบันคือ MIT ในสหรัฐอเมริกา INRIA ในยุโรป และ Keio University ใน ญี่ปุ่น

มาตรฐานของ W3C มีอะไรบ้าง 1. HTML 4.0 – Hyper Text Markup Language 2. XML 1.0 – Extensible Markup Language 3. XHTML 1.0, 1.1 และ Modularization 4. CSS – Cascading Style Sheets 5. DOM 1 – Document Object Model Level 1
ประโยชน์ที่จะได้รับจากการทำตามมาตรฐานเว็บ 1. ประโยชน์ต่อซอฟแวร์หรือเครื่องจักร • Search engine สามารถค้นหาและทำดรรชนีข้อมูลในเว็บได้ง่ายและมีประสิทธิภาพมากขึ้น • เนื่องจากว่ามาตรฐานเป็นสิ่งที่บราวเซอร์ทุกชนิดเข้าใจ จึงทำให้สามารถเข้าใจโครงสร้างเอกสารเว็บได้ แม้ว่าจะไม่เข้าใจเทคโนโลยีมาตรฐานใหม่ ๆ แต่ก็ยังสามารถ แสดงผลได้ • นักพัฒนาที่ใช้มาตรฐานจะสามารถตรวจสอบความถูกต้องของเอกสาร (validate) ด้วยเครื่องมือที่มีมากมายในอินเตอร์เน็ท…

บริษัทรับทำเว็บไซต์ ราคาถูก

สุดพิเศษ สำหรับการเริ่มต้นธุรกิจ / ขยายโอกาสทางธุรกิจ
ปกติ
5,400 บาท
ออกแบบเว็บสวย ไม่ซ้ำใคร พิเศษ ฟรีโดเมนเนม 2 ปี
อ่าน..รายละเอียดเพิ่มเติม ผลงานตัวอย่าง Package นี้  เริ่มต้นธุรกิจ
เว็บไซต์ราคาถูกที่สุด Mini Package ราคา 5,400
(ชำระค่าบริการทำเว็บ ครั้งเดียว * ไม่มีค่าใช้จ่ายแอบแฝง) 
ไม่ต้องทำเอง แค่เตรียมข้อมูลแล้วส่งมาที่บริษัททำเว็บไซต์ของเรา

***ลูกค้าที่มีเว็บไซต์อยู่แล้ว ต้องการทำเว็บไซต์ใหม่ สั่งทำวันนี้ เรามีส่วนลดให้อีก 400 บาท ***
ส่วนลดพิเศษ1. แถมฟรี โดเมนเนม (ชื่อเว็บไซต์) 2 ปี
2. แถมฟรีพื้นที่โฮสติ้ง(พื้นที่เก็บข้อมูล) 1 ปี (ต่ออายุปีที่ 2 ลด 50%)
3. เว็บไซต์รองรับการแสดงผลผ่านมือถือ (Responsive) รับส่วนลดแบบ Hot !! ลดเหลือ 1,080 บาท
(ปกติ 2,700 บาท)
4. เพิ่มระบบภาษาที่ 2 รับส่วนลดสุดคุ้ม เหลือเพียง 1,620 บาท (ปกติ 2,700 บาท)
1. หน้าแรก 1 หน้า
2. หน้าย่อย อื่นๆ 1 หน้า (สินค้า, บริการ, ผลงาน, เกี่ยวกับเรา, ฯลฯ)
3. หน้า ติดต่อเรา 1 หน้า
4. ออกแบบเว็บไซต์ ปรับแก้ไขเว็บไซต์หน้าแรกจนกว่าจะพอใจ
5. มีระบบจัดการเนื้อหา / สินค้า เพิ่ม ลบ แก้ไข ข้อมูลได้เอง ไม่จำกัด ใส่ รูปภาพได้ไม่จำกัด ใส่ VDO จาก Y…

เว็บไซต์เกิดขึ้นได้ยังไง

HTML คืออะไร เกิดขึ้นได้ยังไง ??HTML หรือ HyperText Markup Language เป็นภาษา script ประเภทหนึ่ง ซึ่งใช้ทำ Web page เป็นงานหลัก ในระบบ World Wide Web ในแรกเริ่ม วัตถุประสงค์หลักของ HTML ถูกเสนอโดยนาย ทิม เบอร์เนอร์ส-ลี (Tim Berners-Lee) แห่งศูนย์ปฏิบัติการวิจัยทางอนุภาคฟิสิกส์ของยุโรป (CERN) ซึ่งตั้งอยู่ที่กรุงเจนีวา สวิตเซอร์แลนด์ ได้กำหนดไว้ว่า ปี ค.ศ. 1961 อินเตอร์เน็ตได้เกิดและเติบโตขึ้น พร้อมกับภาษาคอมพิวเตอร์และโปรโตคอล (Protocol) จำนวนมาก เพื่อรองรับกับ การเติบโตอย่างรวดเร็วของอินเตอร์เน็ต หนึ่งในภาษาคอมพิวเตอร์และโปรโตคอลนั้นคือ ภาษา HTML และ TCP/IP (Transmission Control Protocol/ Internet Protocol) ทั้งนี้เพราะ World Wide Web แม้จะเป็นเพียงส่วนหนึ่งของอินเตอร์เน็ต แต่ได้รับความนิยม อย่างสูง และรวดเร็ว โปรโตคอล HTTP (ซึ่งเป็นส่วนย่อยของโปรโตคอล TCP/IP) จึงได้รับการพัฒนาเพื่อสนับสนุนภาษา HTML ซึ่ง ใช้ในการจัดเก็บเอกสารบน World Wide Web


ภาษา HTML ในยุคแรกเริ่ม ถูกใช้เพื่อจัดทำรูปแบบตัวอักษรบนเอกสารประเภท Hypertext ความสามารถจึงยังคงจำกัดอยู่มาก เพียงทำได้แต่ การกำหนดรูปแบบ headin…