搜索优化
网页
图片
视频
学术
词典
地图
更多
航班
笔记本
robot.txt
网络
文件;纯文字档;机械人档案
网络释义
1.
文件
站点管理员可以通过建立一个 Robot
文件
(
Robot.txt
)来 指导 Robot 采集其站点上的有用文档,这些建议往往是有价值的。在 …
www.docin.com
|
基于4个网页
2.
纯文字档
...光碟里将TEMI Basic Test 资料夹中的
纯文字档
(
robot.txt
)档案复制到认证专用随身碟新建的work2 资料夹内,并在程式编译器 …
cc.feu.edu.tw
|
基于2个网页
3.
机械人档案
2. 你可以参考下 D 机械人,用
机械人档案
(
robot.txt
)去增加 google 既排名 http://clog.hkwebs.net/category/%E7%B6%B2%E8%…
hk.knowledge.yahoo.com
|
基于 1 个网页
例句
释义:
全部
全部
,
文件
文件
,
纯文字档
纯文字档
,
机械人档案
机械人档案
类别:
全部
全部
,
口语
口语
,
书面语
书面语
,
标题
标题
,
技术
技术
来源:
全部
全部
,
字典
字典
,
网络
网络
难度:
全部
全部
,
简单
简单
,
中等
中等
,
难
难
更多例句筛选
收起例句筛选
1.
Web
servers
can
exclude crawlers
using
a
file
called
robot
.
txt
that tells the
crawler
what
can
and can't be crawled
.
Web
服务器
可以
使用
一个
名
为
robot.txt
的
文件
来
执行
爬虫
,
它
会
告诉
爬虫
不能
搜索
的
内容
。
www.ibm.com
2.
If
you
've
removed
a
page
or
section
,
you
can
use
the
robot
.
txt
to
prevent
the
spiders
crawling
and
indexing
the
broken
links
.
如果
你
删
掉
了
一个
页面
或者
网站
的
部分
内容
,
你
可以
通过
修改
robot.txt
预防
蜘蛛
爬行
和
索引
那些
无效
链接
。
article.yeeyan.org
3.
Scope
out
areas
of
your
site
that
is
searchable
by
using
a
robot
.
txt
file
.
通过
使用
robots.txt
文件
,
划分
出
您
站点
中
可
搜索
的
区域
。
www.ibm.com