ข้ามไปที่เนื้อหาหลัก

Robots.txt คืออะไร ทำไมต้องมี และสำคัญยังไง

    Search Engine ฺฺส่ง Bot เข้ามาเยี่ยมยังเว็บไซต์ของคุณ สิ่งที่มันจะมองหาอันดับแรกๆ นอกจากลิงก์ หรือไฟล์ต่างๆ แล้วก็จะเป็นไฟล์ Robots.txt นี่ล่ะครับ เปรียบเสมือนเป็นคำสั่งบอกไปยัง Bot ว่าอนุญาตหรือไม่อนุญาตให้เก็บข้อมูลตรงไหนไปหรือให้มองข้ามข้อมูลที่ไหนไป ไม่ต้อง Index เก็บข้อมูล

    robots.txt เป็นไฟล์ที่บอกให้ Search Engine เช่น google ,yahoo มาเก็บข้อมูลในหน้าเว็บไซต์ของเรา ซึ่งในทางปฏิบัติแล้ว มันจะเก็บทุกส่วนของเว็บไซต์เรา ซึ่งถ้าเราไม่ต้องการให้มันเรียกเก็บข้อมูลในส่วนไหน เราก็สามารถป้องกันได้ ด้วยไฟล์ robots.txt นี้เอง


    โรบอต (Robot) เป็นโปรแกรมเก็บข้อมูลในอินเตอร์เน็ต ซึ่งบางครั้ง เรียกว่าสไปเดอร์ (Spider) หรือ ครอว์เลอร์(Crawler) จะทําหน้าที่รวบรวมไฟล์ HTML เพื่อมาเป็นข้อมูล สําหรับสร้างดัชนีค้นหา ให้กับ เสิร์จเอ็นจิน (Search Engine) โดยทั่วไปแล้ว โรบอตจะกลับมาที่เว็บไซต์ที่อ่านไปแล้ว เพื่อตรวจสอบ การเปลี่ยนแปลง ตามระยะเวลาที่กําหนด

    ดังนั้นเราต้องสร้างไฟล์ robots.txt ขึ้นมา เพื่อกำหนดว่าจะให้ Robot เข้าไปยังโฟลเดอร์ไหนได้บ้าง

    การสร้าง Robots.txt ก็ไม่มีขั้นตอนอะไรซับซ้อนมากครับ เพียงแค่คุณสร้างไฟล์ robots.txt จากโปรแกรม Text Edittor ธรรมดานี่เอง แล้วก็ เขียนคำสั่งไปทีบรรทัด

    หลังจากนั้นก็อปปี้ข้อความนี้ลงไปในไฟล์ robotx.txt ครับ

    User-Agent: *
    Allow: /
    User-agent: *  
    ส่วนใหญ่ใช้ * แทน bot ทุกตัวเพื่อง่ายต่อการเขียนคำสั่ง
    Disallow:
    ไม่ต้องใส่อะไรหลังคำสั่ง Disallow:  เป็นคำสั่งให้ Bot นั้น Index เว็บเพจทุกหน้า ไฟล์ทุกไฟล์ เป็นคำสั่งที่นิยมใช้มากที่สุด
    Disallow: /admin
    ถ้าแบบนี้จะหมายถึงสั่งให้ bot มองข้ามโฟลเดอร์ /admin ไปเลยครับ หรือ
    Disallow: /
    จะสั่งให้ Bot ไม่ต้อง index อะไรทั้งสิ้นจากเว็บนี้ ไม่ว่าจะโฟลเดอร์ไหน ไฟล์ใดก็ตาม

    Robots.txt นี้หากไม่มีก็ไม่ผิด แต่ถ้ามีไว้ก็จะช่วยให้ Google bot รู้ได้ทันทีนะครับว่าต้องทำอะไรต่อบ้าง มีผลดีต่อ Ranking เว็บของคุณแน่นอนครับ

    สคริปต์เช็คบอท บอทมาเยี่ยมล่าสุดเมื่อ ??? +++ ( Saveเป็นไฟล์ bot.php แล้อัพโหลดไปที่เดียวกับไฟล์เว็บไซต์)
    <?
    if (strstr($_SERVER['HTTP_USER_AGENT'], 'Yandex')){ $bot='Yandex';}
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'Googlebot')){$bot='Google';}
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'Mediapartners-Google')){$bot='Mediapartners-Google (Adsense)';}
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'Slurp')){$bot='Hot Bot search';}
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'WebCrawler')){$bot='WebCrawler search';}
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'ZyBorg')){$bot='Wisenut search';}
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'scooter')){$bot='AltaVista';}  
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'StackRambler')){$bot='Rambler';}  
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'Aport')){$bot='Aport';}  
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'lycos')){$bot='Lycos';}  
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'WebAlta')){$bot='WebAlta';}
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'yahoo')){$bot='Yahoo';}
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'msnbot')){$bot='msnbot/1.0';}
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'ia_archiver')){$bot='Alexa search engine';}
    else if (strstr($_SERVER['HTTP_USER_AGENT'], 'FAST')){$bot='AllTheWeb';}
     
    if($bot !=""){
    $tdiff = 3600 * 0; // เปลี่ยนจาก 0 เป็น 7 ถ้า Server นอก (GMT) หรือเพิ่มลดได้ตามแต่ Time Zone อยู่ที่ได (GMT -12 ถึง GMT +13)
    $file = "bots.txt";
    $day = date("d/m/Y",time() + $tdiff);
    $time = date("H:i:s",time() + $tdiff);
    $ip = $_SERVER['REMOTE_ADDR'];
    $fh = fopen($file, "w");
    fwrite($fh, "$day|$time|$bot|$ip");
    fclose($fh);
    }

    $month[1] = "มกราคม";
    $month[2] = "กุมภาพันธ์";
    $month[3] = "มีนาคม";
    $month[4] = "เมษายน";
    $month[5] = "พฤษภาคม";
    $month[6] = "มิถุยายน";
    $month[7] = "กรกฎาคม";
    $month[8] = "สิงหาคม";
    $month[9] = "กันยายน";
    $month[10] = "ตุลาคม";
    $month[11] = "พฤศจิกายน";
    $month[12] = "ธันวาคม";

    $file = "bots.txt";
    if(file_exists($file)) {
    $fh = fopen($file, 'r+');
    $s = filesize($file);
    if($s == 0) {
    $out = "<strong>บอทยังไม่ได้มาเก็บข้อมูล</strong>";
    }else{
    $contents = fread($fh, $s);
    fclose($fh);

    $info = explode("|",$contents);
    $day = explode("/",$info[0]);
    $m = number_format($day[1]);
    $tm = explode(":",$info[1]);
    $agent = $info[2];
    $ip = $info[3];

    $out = "<strong>บอทตัวล่าสุดที่เข้ามาเก็บข้อมูล คือ ".$agent ." ($ip) ";

    if(date('d',time()) == $day[0]){
    $out .= " วันนี้";
    }else{
    $out .=" เมื่อวันที่ ".$day[0]." ".$month[$m]." ". ($day[2]+543);
    }
    $out .= " เวลา ". $tm[0]. ".".$tm[1]." น.</strong>";

    }
    echo $out;
    }
    ?>

ความคิดเห็น

โพสต์ยอดนิยมจากบล็อกนี้

W3C คืออะไร ???

W3C W3C หรือ World Wide Web Consortium เป็นองค์กรระหว่างประเทศที่ทำงานด้านการพัฒนาเทคโนโลยีเว็บ นำโดยนาย ทิม เบิร์นเนอร์ ลี ก่อตั้งในปี 1994 และมีองค์กรสมาชิกมากกว่า 450 องค์กร ซึ่งรวมถึงองค์กรอย่าง Microsoft, Sun Microsystems และอื่น ๆ อีกมากมาย องค์กรนี้ ประกอบด้วยสถาบัน 3 สถาบันคือ MIT ในสหรัฐอเมริกา INRIA ในยุโรป และ Keio University ใน ญี่ปุ่น

มาตรฐานของ W3C มีอะไรบ้าง 1. HTML 4.0 – Hyper Text Markup Language 2. XML 1.0 – Extensible Markup Language 3. XHTML 1.0, 1.1 และ Modularization 4. CSS – Cascading Style Sheets 5. DOM 1 – Document Object Model Level 1
ประโยชน์ที่จะได้รับจากการทำตามมาตรฐานเว็บ 1. ประโยชน์ต่อซอฟแวร์หรือเครื่องจักร • Search engine สามารถค้นหาและทำดรรชนีข้อมูลในเว็บได้ง่ายและมีประสิทธิภาพมากขึ้น • เนื่องจากว่ามาตรฐานเป็นสิ่งที่บราวเซอร์ทุกชนิดเข้าใจ จึงทำให้สามารถเข้าใจโครงสร้างเอกสารเว็บได้ แม้ว่าจะไม่เข้าใจเทคโนโลยีมาตรฐานใหม่ ๆ แต่ก็ยังสามารถ แสดงผลได้ • นักพัฒนาที่ใช้มาตรฐานจะสามารถตรวจสอบความถูกต้องของเอกสาร (validate) ด้วยเครื่องมือที่มีมากมายในอินเตอร์เน็ท…

เว็บไซต์เกิดขึ้นได้ยังไง

HTML คืออะไร เกิดขึ้นได้ยังไง ??HTML หรือ HyperText Markup Language เป็นภาษา script ประเภทหนึ่ง ซึ่งใช้ทำ Web page เป็นงานหลัก ในระบบ World Wide Web ในแรกเริ่ม วัตถุประสงค์หลักของ HTML ถูกเสนอโดยนาย ทิม เบอร์เนอร์ส-ลี (Tim Berners-Lee) แห่งศูนย์ปฏิบัติการวิจัยทางอนุภาคฟิสิกส์ของยุโรป (CERN) ซึ่งตั้งอยู่ที่กรุงเจนีวา สวิตเซอร์แลนด์ ได้กำหนดไว้ว่า ปี ค.ศ. 1961 อินเตอร์เน็ตได้เกิดและเติบโตขึ้น พร้อมกับภาษาคอมพิวเตอร์และโปรโตคอล (Protocol) จำนวนมาก เพื่อรองรับกับ การเติบโตอย่างรวดเร็วของอินเตอร์เน็ต หนึ่งในภาษาคอมพิวเตอร์และโปรโตคอลนั้นคือ ภาษา HTML และ TCP/IP (Transmission Control Protocol/ Internet Protocol) ทั้งนี้เพราะ World Wide Web แม้จะเป็นเพียงส่วนหนึ่งของอินเตอร์เน็ต แต่ได้รับความนิยม อย่างสูง และรวดเร็ว โปรโตคอล HTTP (ซึ่งเป็นส่วนย่อยของโปรโตคอล TCP/IP) จึงได้รับการพัฒนาเพื่อสนับสนุนภาษา HTML ซึ่ง ใช้ในการจัดเก็บเอกสารบน World Wide Web


ภาษา HTML ในยุคแรกเริ่ม ถูกใช้เพื่อจัดทำรูปแบบตัวอักษรบนเอกสารประเภท Hypertext ความสามารถจึงยังคงจำกัดอยู่มาก เพียงทำได้แต่ การกำหนดรูปแบบ headin…

เข้าใจลูกค้าในการทำเว็บไซต์ และขายงานให้ได้

เว็บไซต์ นับว่าเป็นเครื่องมือที่สำคัญของทุกธุรกิจ ไม่ว่าคุณจะทำธุรกิจอะไร ต้องมีเว็บไซต์ 1 เว็บเป็นอย่างน้อย เพราะ ธุรกิจ ยุคใหม่ ไม่เหมือนยุคก่อน (รุ่นคุณปู่) นักธุรกิจส่วนใหญ่ ยังมีอายุน้อยและรนู้จักใช้เทคโนโลยีกันเป็นอย่างมาก วัยรุ่น เพราะคนยุคใหม่ คือคุนยุค Generation  สายพันธุ์ใหม่ ที่สามารถใช้เทคโนโลมาทำมาหากินได้ คือสามารถนำมาสร้างธุรกิจได้ บางคนอาจจะเอามทำเป็นอาชีพเสริม หรือ บางคนอาจจะเอามาทำเป็นอาชีพหลักได้เลย แต่ไม่ว่าธุรกิจอะไรก็ตาม ต้องมีการโปรโมท หรือแนะนำบริษัทผ่านทางเว็บไซต์ ถ้าบริษัทไหนไม่มีเว็บไซต์ หรือไม่มีข้อมูลบนหน้า Google หรือไม่มีข้อมูล บนSerch Engine แล้วล่ะก็ เตรียมตัวได้เลย (ต้องหา กลยุทธ์อย่างอื่นเพื่อสร้างยอดขายให้กับบริษัท) วันนี้ จะแนะนำวิธีเบื้องต้น เพื่อมัดใจลูกค้า  เข้าใจลูกค้าให้ได้ว่าลูกค้าเราต้องการอะไร คือ เข้าใจคนเข้าชมเว็บส่วนใหญ่ว่าเมื่อมีคนเข้าเว็บเราแล้วคนที่เข้ามาเค้าต้องการอะไร และเค้าจะได้ข้อมูลอะไรกลับไปการโต้ตอบทันที เมื่อมีลูกค้าเข้ามาถาม หรือ ส่งอีเมล์เข้ามา อย่าปล่อยให้ลูกค้ารอนาน ถ้าเราโต้ตอบเร็ว ทันทีเราก็จะได้ใจลูกค้ามากขึ้น (ลูกค้าค…