robots.txt是一個協(xié)議,而不是一個命令。robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。當(dāng)一個搜索蜘蛛訪問一個站點(diǎn)時,它會首先檢查該站點(diǎn)根目錄下是否存在robots.txt,如果存在,搜索機(jī)器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。百度官方建議,僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容,請勿建立robots.txt文件。
舉例:
如果將網(wǎng)站視為酒店里的一個房間,robots.txt就是主人在房間門口懸掛的“請勿打擾”或“歡迎打掃”的提示牌。這個文件告訴來訪的搜索引擎哪些房間可以進(jìn)入和參觀,哪些房間因?yàn)榇娣刨F重物品,或可能涉及住戶及訪客的隱私而不對搜索引擎開放。但robots.txt不是命令,也不是防火墻,如同守門人無法阻止竊賊等惡意闖入者。
這里不給時間大家看了,看完教程再仔細(xì)閱讀一下,很容易理解的,其實(shí)就是SEO中的環(huán)節(jié),做SEO的人都知道,這個文件很常用,為了不讓百度蜘蛛抓取你的一些不重要的頁面,或是你想百度蜘蛛抓取你的什么頁面,就靠這個文件來控制即可,所以就給了我們?nèi)肭终叽蟠蟮姆奖?,根?jù)我的經(jīng)驗(yàn)
有的時候各種掃目錄,也找不到后臺的時候,小心翼翼的訪問一下這個文件,蛋疼的你就發(fā)現(xiàn)這個文件里面很多目錄,其中可愛的后臺地址就赫赫的展現(xiàn)在上面,你訪問一下就獲得后臺地址了!
下面來實(shí)戰(zhàn)一下,讓大家看看效果
看目錄,就知道是織夢程序 這個ICO也能看出。
User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets
這個沒有后臺地址,至少我沒看出可疑的文件,原來是默認(rèn)后臺地址 dede/
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow:不允許蜘蛛抓取的意思 一看就知道這是后臺地址,試試,對吧
#
# robots.txt for Discuz! X3
#
User-agent: *
Disallow: /api/
Disallow: /data/
Disallow: /source/
Disallow: /install/
Disallow: /template/
Disallow: /config/
Disallow: /uc_client/
Disallow: /uc_server/
Disallow: /static/
Disallow: /admin.php
Disallow: /search.php
Disallow: /member.php
Disallow: /api.php
Disallow: /misc.php
Disallow: /connect.php
Disallow: /forum.php?mod=redirect*
Disallow: /forum.php?mod=post*
Disallow: /home.php?mod=spacecp*
Disallow: /userapp.php?mod=app&*
Disallow: /*?mod=misc*
Disallow: /*?mod=attachment*
通過這里,可以看出這個是Discuz! X3程序 x3版本的,是一個論壇
1.可以獲取后臺地址 效率不錯
2.可以獲得網(wǎng)站程序名稱
入侵的時候,別忘了這個文件即可! 教程結(jié)束
申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!