                        课程
                    
                        /后端开发
                        
                            /Python
                        
                        /Python最火爬虫框架Scrapy入门与实践

完全按照老师写的代码报错twisted.web.error.SchemeNotSupported: Unsupported scheme: b''

class my_proxy(object):
    def process_request(self,request,spider):
        request.meta['proxy']='http-cla.abuyun.com:9030'
        proxy_name_pass=b'H211EATS905745KC:F8FFBC929EB7D5A7'
        encode_pass_name=base64.b64encode(proxy_name_pass)
        request.headers['Proxy-Authorization']='Basic '+encode_pass_name.decode()

qq_半字浅眉_1

2018-10-15

源自：Python最火爬虫框架Scrapy入门与实践 2-9

关注问题我要回答

3881

操作

收起

7 回答

sofeng
2019-01-04

    import base64    # 代理服务器
    proxyServer = "http://http-dyn.abuyun.com:9020"
    # 代理隧道验证信息
    proxyUser = "xxxxxx"
    proxyPass = "xxxxxx"
    # for Python2
    proxyAuth = "Basic " + base64.b64encode(proxyUser + ":" + proxyPass)
    # for Python3
    #proxyAuth = "Basic " + base64.urlsafe_b64encode(bytes((proxyUser + ":" + proxyPass), "ascii")).decode("utf8")

    class ProxyMiddleware(object):
        def process_request(self, request, spider):
            request.meta["proxy"] = proxyServer
            request.headers["Proxy-Authorization"] = proxyAuth

0 回复有任何疑惑可以回复我~

收起回答

CasparMa
2018-12-18

request.meta['Proxy'] = 'http-pro.abuyun.com:9010'，在http-pro.abuyun.com:9030前面加上http://就可以了

1 回复有任何疑惑可以回复我~

收起回答

CasparMa
2018-12-18

request.meta['Proxy'] = 'http-pro.abuyun.com:9010'

改成

request.meta['Proxy'] = ',问题解决

0 回复有任何疑惑可以回复我~

收起回答

weixin_慕数据3467524

什么鬼，你这等号右边为啥只有一个引号，而且这应该是没有用到代理ip把？

2019-04-12 回复有任何疑惑可以回复我~

慕容0352477
2018-11-29

request.meta['Proxy'] = 'http-pro.abuyun.com:9010'

我是把‘proxy'改为'Proxy'后好像可以了

2 回复有任何疑惑可以回复我~

收起回答

慕移动2374701

那是因为你改了大写就识别不出那个属性了,所以scrapy用你自己的ip上了,没有用到代理ip

2018-12-03 回复有任何疑惑可以回复我~

笨笨机器人

同样+1

2019-02-18 回复有任何疑惑可以回复我~

qq_夜北孤星_0
2018-10-23

ERROR: Error downloading <GET https://movie.douban.com/top250>: Could not open CONNECT tunnel with proxy http-cla.abuyun.com:9030 [{'status': 407, 'reason': b'Proxy Authentication Required'}]这个怎么解决

0 回复有任何疑惑可以回复我~

收起回答

ChenforCode

这个很明显是老师给的不可以用了啊，你可以自己买一个把

2018-11-05 回复有任何疑惑可以回复我~

ChenforCode

连接不上去了

2018-11-05 回复有任何疑惑可以回复我~