湖南网站建设公司 干净磐石网络,在网页做动态图片的网站,公司企业网站免费建设,淘宝客网站WordPress我正在尝试使用Scrapy从网站自动下载数据。在我要做的是#xff1a;使用我的凭据登录网站通过在“RIC”行中写入代码并选择感兴趣的时段来选择我想要的数据单击“获取数据”后#xff0c;将生成.csv文件#xff0c;我可以从“下载/”url下载该文件#xff0c;其中我的所有文…我正在尝试使用Scrapy从网站自动下载数据。在我要做的是使用我的凭据登录网站通过在“RIC”行中写入代码并选择感兴趣的时段来选择我想要的数据单击“获取数据”后将生成.csv文件我可以从“下载/”url下载该文件其中我的所有文件如下所示我可以使用“FormRequest”登录。因此我想做同样的事情来填充“RIC”代码并单击“Get data”按钮但这失败了。(我现在改变日期不是为了了解它的工作原理)这里是我的代码class DmozSpider(scrapy.Spider):name dmozallowed_domains [myDomain]start_urls [http://myDomain/dataServices/]def parse(self, response):return scrapy.FormRequest.from_response(response,formdata{username: myName, password: myPass},callbackself.after_login)def after_login(self, response):# check login succeed before going onif Your email adress and password did not match in response.body:print(\n\nFAIL\n\n)self.logger.error(Login failed)returnelse:print(\n\n LOGIN SUCCESSFUL \n\n)filename response.url.split(/)[-2] .htmlwith open(filename, wb) as f:f.write(response.body)## THIS FAILS !!!return scrapy.http.FormRequest.from_response(response,formxpath//input[value ],formdata{value: DJ},clickdata{value: Get data},callback self.foo)这是表单的html^{pr2}$我从日志中得到的错误2015-10-20 18:49:53 [scrapy] DEBUG: Retrying (failed 1 times): 500 Internal Server Error2015-10-20 18:49:53 [scrapy] DEBUG: Retrying (failed 2 times): 500 Internal Server Error2015-10-20 18:49:53 [scrapy] DEBUG: Gave up retrying (failed 3 times): 500 Internal Server Error2015-10-20 18:49:53 [scrapy] DEBUG: Crawled (500) (referer: http://myDomain/dataServices/)2015-10-20 18:49:53 [scrapy] DEBUG: Ignoring response 500 http://myDomain/dataServices/: HTTP status code is not handled or not allowed你知道我做错了什么吗在
