I’m trying to scrape information on the price of offices in France and I successfully developed the code to scrape all the information I needed.
Though, I quickly noticed that something was wrong with the number of outputs and more precisely that my algorithm was returning only half of the occurences present on each page of the website.
Here’s how the basic code looks like:
from urllib.request import Request, urlopen
from bs4 import BeautifulSoup
page = "https://www.bureauxlocaux.com/recherche/?transaction_type=sale&realty_type=office&page=1"
req = Request(page, headers={'User-Agent': 'Mozilla/5.0'})
web_byte = urlopen(req).read()
webpage = web_byte.decode('utf-8')
bs = BeautifulSoup(webpage, 'html.parser')
announces = bs.findAll('li',{'class':'item-card'})
Like suggested here Beautiful Soup findAll doesn’t find them all I’m already using the html.parser and I’ve tried with others but in vain.
I still don’t understand why it’s picking up only the first half of the page whereas the html code clearly comprises all of them.
Advertisement
Answer
The data you see on the page is stored as Json. You can use json module to extract it.
For example:
import json
import requests
from bs4 import BeautifulSoup
url = 'https://www.bureauxlocaux.com/recherche/?transaction_type=sale&realty_type=office&page=1'
soup = BeautifulSoup(requests.get(url).content, 'html.parser')
data = json.loads(soup.select_one('#listings-data').contents[0])
# uncomment this to print all data:
# print(json.dumps(data, indent=4))
for idx, i in enumerate(data['results']['items'], 1):
if i.get('sponsored_page'):
continue
print('{:<3} {:<50} {:<30} {:<30} {}'.format(idx, i['label'], i['street'], i['city'], i['zip_code']))
Prints:
1 A VENDRE, LE RIVE DE SAÔNE 41 QUAI FULCHIRON Lyon 69005 2 A VENDRE BUREAUX 84 m² RDC CHAMPS SUR MARNE 12 rue Albert Einstein Champs sur Marne 77420 3 Vente Bureau Boulogne Billancourt 92100 RUE D'ISSY Boulogne Billancourt 92100 4 A VENDRE Bâtiment indépendant TOUSSUS LE NOBLE 78117 5 Exclusivité Yfimo Buchelay à vendre un bureau de 85 m2 20 rue des Piquettes BUCHELAY 78200 6 A VENDRE OU A LOUER, EUROPARC DE BRON 6 RUE EDISON Bron 69500 7 A VENDRE, LE RIVE DE SAÔNE 41 QUAI FULCHIRON Lyon 69005 8 A VENDRE, LE RIVE DE SAÔNE 41 QUAI FULCHIRON Lyon 69005 9 A VENDRE OU A LOUER, EUROPARC DE BRON 6 RUE EDISON Bron 69500 10 Quartier Palais de justice : Bureaux à vendre MARSEILLE 13006 11 BUREAUX A VENDRE Toulouse 31100 12 A VENDRE OU A LOUER 5 RUE JEAN MERMOZ Courcouronnes 91080 13 BUREAUX A VENDRE 12, place GEORGES POMPIDOU Noisy Le Grand 93160 14 A VENDRE OU A LOUER, EUROPARC DE BRON 6 RUE EDISON Bron 69500 15 BUREAUX A VENDRE OU A LOUER Toulouse 31100 16 NANTES A VENDRE BUREAU 76 M² ANCIEN DE CARACTERE Nantes 44100 17 Vente Bureau Marseille 13010 AVENUE DE LA CAPELETTE Marseille 13010 18 A VENDRE, LE RIVE DE SAÔNE 41 QUAI FULCHIRON Lyon 69005 19 Bureaux à vendre - 13016 Marseille 7 avenue André Roussin MARSEILLE 13016 20 A VENDRE OU A LOUER, EUROPARC DE BRON 6 RUE EDISON Bron 69500 21 BUREAUX A VENDRE Toulouse 31100 22 A VENDRE OU A LOUER, EUROPARC DE BRON 6 RUE EDISON Bron 69500 24 BUREAUX A VENDRE OU A LOUER Lissieu 69380 25 BUREAUX A VENDRE OU A LOUER Lissieu 69380 26 A VENDRE OU A LOUER 350 AVENUE GUILIBERT DE LA LAUZIERE Aix En Provence 13100 27 Location Bureau MULHOUSE 68100 RUE FRANCOIS SPOERRY MULHOUSE 68100 28 Vente Bureau LYON 69009 LYON 69009 29 Bureau de 60m² Champs Sur Marne 77420 30 Location Bureau FRANCHEVILLE 69340 1 BIS Chemin DU TOREY FRANCHEVILLE 69340 31 Vente Bureau Massy 91300 1, rue Marcel Paul Massy 91300 32 Bureau de 159m² Saint Maur Des Fosses 94100 33 Bureaux à vendre de 280m2 RUE FOUCHER LEPELLETIER Issy Les Moulineaux 92130 34 BUREAUX A VENDRE 12, allée Lech Walesa Lognes 77185 35 Vente Bureau BORDEAUX 33000 4 Rue EMILE FOURCAND BORDEAUX 33000 36 Location Bureau RENNES 35700 158 Rue 158 Rue d'Antrain RENNES 35700 37 Vente Bureau BRUGES 33520 Rue SERGE DEJEAN BRUGES 33520 38 A VENDRE OU A LOUER Marseille 13009 39 BUREAUX A VENDRE OU A LOUER Bussy Saint Georges 77600 40 A vendre bureaux occupés proche Opéra Paris 75009 41 Vente Bureau Saint Ouen 93400 Saint Ouen 93400 42 Rénovés - double parking - face Gare RER 22 square Robinson SCEAUX 92330 43 Rare – Madeleine – 6 pièces – Beaux volumes rue de Surène PARIS 75008 44 BUREAUX A VENDRE OU A LOUER Bussy Saint Georges 77600 45 Vente Bureau Nanterre 92000 Nanterre 92000 46 Vente Bureau Noisy Le Grand 93160 Noisy Le Grand 93160 47 Vente Bureau Merignac 33700 Merignac 33700 48 BUREAUX A VENDRE Noisy Le Grand 93160 49 Vente Bureau Paris 75013 Paris 75013 50 BUREAUX A VENDRE Bordeaux 33000 51 Bureaux à louer et à vendre de 400m2 PLACE DU SUD Puteaux 92800 52 Vente Bureau Les Pavillons Sous Bois 93320 Les Pavillons Sous Bois 93320 53 En Exclusivité - A Vendre - Bureaux - 186 m2 - ZI Les Paluds - Agora Aubagne 13400 54 Vente bureaux Issy-les-moulineaux 92130 Issy Les Moulineaux 92130 55 PARC D'ACTIVITE - ACTISQUARE III (bis) Dommartin 69380 56 BUREAUX A VENDRE Labege 31670 57 BUREAUX A VENDRE OU A LOUER Bussy Saint Georges 77600 58 BUREAUX A VENDRE Noisy Le Grand 93160 59 BUREAUX D'ENVIRON 370 m² DISPONIBLES IMMEDIATEMENT A l'ACHAT A FONDETTES Fondettes 37230 60 A VENDRE OU A LOUER Asnieres Sur Seine 92600 61 A VENDRE - BUREAUX DE 130 M² IDÉALEMENT SITUÉS EN FACE DE L’AÉROPORT Blagnac 31700 62 A VENDRE OU A LOUER Villefranche Sur Saone 69400 63 Vente Bureau PARIS 75015 8 RUE BORROMEE PARIS 75015 64 La Joliette/Bureaux à vendre en pied d'immeuble Marseille 13002 65 Vente Bureau Asnieres Sur Seine 92600 Asnieres Sur Seine 92600 66 Vente Bureau OULLINS 69600 27 Rue Saint-Exupéry OULLINS 69600 67 Bureaux A VENDRE Allée de la connaissance LIEUSAINT 77127 68 A VENDRE OU A LOUER Chateau Gaillard 01500 69 BUREAUX A VENDRE OU A LOUER Lissieu 69380 70 Vente Bureau CESSON SEVIGNE 35510 CESSON SEVIGNE 35510 71 IMMEUBLE DE BUREAUX PRIVATIF A VENDRE Merignac 33700 72 IMMEUBLE EMBLEMATIQUE CENTRE-VILLE DE BOULOGNE-SUR-MER Place des Capucins BOULOGNE SUR MER 62200 73 Vente Bureau Paris 75008 Paris 75008 74 A LOUER / A VENDRE - QUIMPER - BUREAUX - 115 m² env Quimper 29000 75 Location Bureau BORDEAUX 33000 Avenue DES 40 JOURNAUX BORDEAUX 33000 76 Vente Bureau Courbevoie 92400 Courbevoie 92400 77 BUREAUX A VENDRE OU A LOUER Lissieu 69380 78 Vente Bureau Asnieres Sur Seine 92600 Asnieres Sur Seine 92600 79 Vente Bureau Asnieres Sur Seine 92600 Asnieres Sur Seine 92600 80 Bureaux Vide 20 m² Cannes 06400 81 Vente Bureau ROSNY SOUS BOIS 93110 14 RUE DE LISBONNE ROSNY SOUS BOIS 93110 82 Plateau de Bureaux à vendre / Palais Royal paris 75002 83 A vendre bureaux 118m² centre ville Marseille Marseille 13006 84 Vente Bureau Clichy 92110 92-98 BOULEVARD VICTOR HUGO Clichy 92110 85 BUREAUX 138 m² (non div.) à vendre (PARIS 75002) Paris 75002 86 Vente Bureau Gennevilliers 92230 AVENUE DES LOUVRESSES Gennevilliers 92230 87 Location Bureau VILLENEUVE D ASCQ 59650 25 Rue DU CARROUSEL VILLENEUVE D ASCQ 59650 88 A VENDRE OU A LOUER Place des Champs Elysées Courcouronnes 91080 89 BUREAUX A VENDRE Echirolles 38130 90 A VENDRE OU A LOUER rue des Fossés rue des Fossés Melun 77000 91 Vente Bureaux Paris 75011 Paris 75011