一个没有完善的网站是不应该直接上线的或者说这样对你网站的发展并没有任何好处，建议完全屏蔽roboots禁止被收录，因为搜索引擎是通过数据分析后才收录这样给你网站带来不了任何好处，网站上线一旦给搜索引擎一个不好的印象在想被收录或者说得到好的排名就不是那么容易了。
很多站群站长都很值这个理念，不过你不用担心收录问题，只要文字内容好，蜘蛛爬取内容不是很困难没有大量js和flv就是好的，如今是内容时代，所以你网站没有完善好之前肯定会有一些url不规范错误页面，内容重复，没必要的页面应该先nofollow避免权重分散
ROBOTFRAMEWORK优缺点
Robot Framework 是一个用于验收测试和验收测试驱动开发（ATDD）的自动化测试框架。它基于 Python 编写，但也可以在 Jython（Java）和 IronPython（.NET） 上运行，提供跨平台支持（Windows、Linux 或 MacOS）。Robot Framework 的优点包括：
- 门槛低，采用表格化用例，降低了自动化测试入门门槛。
- 重用性好，可以利用现有的关键字组装成新的关键字。
- 易于扩展，可以自定义测试库。
- 易于集成，提供界面命令行多种接口的执行方式。
- 功能全面，支持 WEB 测试、SSH、telnet、API 接口多种测试方式。
- 良好的报告和日志展示。Robot Framework 的缺点包括：
- 界面反应速度慢，经常卡死。
- 导入测试库有时会异常。
网站ROBOTS文件怎么优化
Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，，，原因：网站上经常存在这种情况：不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。。网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。。一些没有关键词的页面，比如本站的这个页面，屏蔽掉更好。一般情况下，站内的搜索结果页面屏蔽掉更好。
