Arbeitsnotizen: Perl mit LWP und HTTP

Mit Hilfe von libwww und HTTP-Message lassen sich HTTP Requests recht einfach lösen.

Beispiel:

#!/usr/bin/env perl
 
use strict;
use warnings;
 
use HTTP::Request ();
use JSON::MaybeXS qw(encode_json);
 
my $url = 'https://www.example.com/api/user/123';
my $header = ['Content-Type' => 'application/json; charset=UTF-8'];
my $data = {foo => 'bar', baz => 'quux'};
my $encoded_data = encode_json($data);
 
my $r = HTTP::Request->new('POST', $url, $header, $encoded_data);
# at this point, we could send it via LWP::UserAgent
# my $ua = LWP::UserAgent->new();
# my $res = $ua->request($r);

Was ist wenn man nun variable URLs hat bei denen man nicht weiß wie viel an Daten diese zurück gibt? Der Content-Length Header ist kein Zwang und daher nicht immer verfügbar.

Nun gibt es zwei Möglichkeiten.

Eine eigene callback Methode nutzen:

my $req = HTTP::Request->new(GET => $url, $request_headers);
my $res = $ua->request($req, \&getCallback);
if ($res->is_success) {
     if($res->header('X-Died')) {
        say "Aborted, too big.";
     }
}

sub getCallback {
    my ( $chunk, $res, $proto ) = @_;
    $fetchedData .= $chunk;
    if(length($fetchedData) > 100000) {
        die();
    }
    # do something with the data.
}

Oder die Option max_size verwenden:

my $ua = LWP::UserAgent->new();
$ua->max_size(100000);
my $req = HTTP::Request->new(GET => $url, $request_headers);
my $res = $ua->request($req);
if ($res->is_success) {
    if($res->header('Client-Aborted')) {
        say "Aborted, too big.";
    }
}

Erstere bekam ich nicht richtig zum Laufen. Zweitere funktionierte ohne Probleme. Man darf nicht vergessen auf den speziellen Header zu reagieren. Ohne dies bringt der callback oder max_size nix.