# # robots.txt file from http://www.zjol.com.cn # Version 1.0.1 2009/11/27 created by zjol.com.cn # 按照robots.txt的标准写法,规定一些不允许爬虫爬的页面或目录。 # robots.txt 的写法参照 # User-agent: hl_ftien_spider Disallow: / User-agent: * Disallow: