Wie verwende ich Scrapy, um das Login zu simulieren, das über die POST-Anforderung erfolgt (verschlüsselt)

  • Kann das Login vor Ort wie www.eoddata.com mit Scrapy simuliert werden? Die Website verwendet eine Post-Anfrage, um Anmeldeinformationen zu übermitteln.

    24 August 2011
    user891260
3 answers
  • Anscheinend ist Scrapy selbst nicht genug, ein Schnüffler wie wireshark ist ein Muss, um das Problem zu lösen:)

    11 October 2011
    user891260
  • Ja, aber aufgrund der dynamischen Natur des Formulars müssen Sie möglicherweise zuerst die Anmeldeseite lesen, um den genauen Namen der Felder und der Felder des CSRF-Typs zu erhalten. Sie sollten einer Sequenz wie dieser folgen.

    1. Originalformularseite mit Ihrem Scraper lesen
    2. diesen HTML-Code nach durchsuchen Rufen Sie den Namen des Benutzernamensfelds, das Kennwortfeld und den Namen / Wert aller Authentifizierungsfelder des CSRF-Typs ab.
    3. Senden Sie einen POST an die Anmelde-URL Legen Sie das Kennwort fest, und alle anderen Felder des CSRF-Typs, die im vorherigen Schritt erfasst wurden.
    4. Rufen Sie die Authentifizierungscookies in der Antwort
    ab

    Schauen Sie sich ein Login mit Firebug an, um die Login-URL abzurufen und zu prüfen, ob die Feldnamen und -werte dynamisch sind oder nicht.

    07 July 2012
    Mark Chackerian