#####################################################
#	新浪论坛 禁止搜索引擎收录配置文件  by  kuub 
#	编写：		张市军
#	日期：		2006-11-13
#####################################################

#限制的搜索引擎的User-Agent代码，*表示所有###########
User-agent: *

#限制不能搜索的目录，Disallow: 为空时开放所有目录####
Disallow: /config/
Disallow: /include/
Disallow: /js/
Disallow: /master/

#搜索引擎User-Agent代码对照表########################
#	搜索引擎				User-Agent代码
#	AltaVista				Scooter
#	Infoseek				Infoseek
#	Hotbot					Slurp
#	AOL Search				Slurp
#	Excite					ArchitextSpider
#	Google					Googlebot
#	Goto					Slurp
#	Lycos					Lycos
#	MSN 					MSNBOT
#	Netscape				Googlebot
#	NorthernLight			Gulliver
#	WebCrawler				ArchitextSpider
#	Iwon					Slurp
#	Fast					Fast
#	DirectHit				Grabber
#	Yahoo Web Pages			Googlebot
#	Looksmart Web Pages		Slurp
#	Baiduspider				Baidu