I’m trying to scrape information on the price of offices in France and I successfully developed the code to scrape all the information I needed.
Though, I quickly noticed that something was wrong with the number of outputs and more precisely that my algorithm was returning only half of the occurences present on each page of the website.
Here’s how the basic code looks like:
JavaScript
x
10
10
1
from urllib.request import Request, urlopen2
from bs4 import BeautifulSoup3
4
page = "https://www.bureauxlocaux.com/recherche/?transaction_type=sale&realty_type=office&page=1"5
req = Request(page, headers={'User-Agent': 'Mozilla/5.0'})6
web_byte = urlopen(req).read()7
webpage = web_byte.decode('utf-8')8
bs = BeautifulSoup(webpage, 'html.parser')9
announces = bs.findAll('li',{'class':'item-card'})10
Like suggested here Beautiful Soup findAll doesn’t find them all I’m already using the html.parser and I’ve tried with others but in vain.
I still don’t understand why it’s picking up only the first half of the page whereas the html code clearly comprises all of them.
Advertisement
Answer
The data you see on the page is stored as Json. You can use json module to extract it.
For example:
JavaScript
1
17
17
1
import json2
import requests3
from bs4 import BeautifulSoup4
5
6
url = 'https://www.bureauxlocaux.com/recherche/?transaction_type=sale&realty_type=office&page=1'7
soup = BeautifulSoup(requests.get(url).content, 'html.parser')8
data = json.loads(soup.select_one('#listings-data').contents[0])9
10
# uncomment this to print all data:11
# print(json.dumps(data, indent=4))12
13
for idx, i in enumerate(data['results']['items'], 1):14
if i.get('sponsored_page'):15
continue16
print('{:<3} {:<50} {:<30} {:<30} {}'.format(idx, i['label'], i['street'], i['city'], i['zip_code']))17
Prints:
JavaScript
1
92
92
1
1 A VENDRE, LE RIVE DE SAÔNE 41 QUAI FULCHIRON Lyon 690052
2 A VENDRE BUREAUX 84 m² RDC CHAMPS SUR MARNE 12 rue Albert Einstein Champs sur Marne 774203
3 Vente Bureau Boulogne Billancourt 92100 RUE D'ISSY Boulogne Billancourt 921004
4 A VENDRE Bâtiment indépendant TOUSSUS LE NOBLE 781175
5 Exclusivité Yfimo Buchelay à vendre un bureau de 85 m2 20 rue des Piquettes BUCHELAY 782006
6 A VENDRE OU A LOUER, EUROPARC DE BRON 6 RUE EDISON Bron 695007
7 A VENDRE, LE RIVE DE SAÔNE 41 QUAI FULCHIRON Lyon 690058
8 A VENDRE, LE RIVE DE SAÔNE 41 QUAI FULCHIRON Lyon 690059
9 A VENDRE OU A LOUER, EUROPARC DE BRON 6 RUE EDISON Bron 6950010
10 Quartier Palais de justice : Bureaux à vendre MARSEILLE 1300611
11 BUREAUX A VENDRE Toulouse 3110012
12 A VENDRE OU A LOUER 5 RUE JEAN MERMOZ Courcouronnes 9108013
13 BUREAUX A VENDRE 12, place GEORGES POMPIDOU Noisy Le Grand 9316014
14 A VENDRE OU A LOUER, EUROPARC DE BRON 6 RUE EDISON Bron 6950015
15 BUREAUX A VENDRE OU A LOUER Toulouse 3110016
16 NANTES A VENDRE BUREAU 76 M² ANCIEN DE CARACTERE Nantes 4410017
17 Vente Bureau Marseille 13010 AVENUE DE LA CAPELETTE Marseille 1301018
18 A VENDRE, LE RIVE DE SAÔNE 41 QUAI FULCHIRON Lyon 6900519
19 Bureaux à vendre - 13016 Marseille 7 avenue André Roussin MARSEILLE 1301620
20 A VENDRE OU A LOUER, EUROPARC DE BRON 6 RUE EDISON Bron 6950021
21 BUREAUX A VENDRE Toulouse 3110022
22 A VENDRE OU A LOUER, EUROPARC DE BRON 6 RUE EDISON Bron 6950023
24 BUREAUX A VENDRE OU A LOUER Lissieu 6938024
25 BUREAUX A VENDRE OU A LOUER Lissieu 6938025
26 A VENDRE OU A LOUER 350 AVENUE GUILIBERT DE LA LAUZIERE Aix En Provence 1310026
27 Location Bureau MULHOUSE 68100 RUE FRANCOIS SPOERRY MULHOUSE 6810027
28 Vente Bureau LYON 69009 LYON 6900928
29 Bureau de 60m² Champs Sur Marne 7742029
30 Location Bureau FRANCHEVILLE 69340 1 BIS Chemin DU TOREY FRANCHEVILLE 6934030
31 Vente Bureau Massy 91300 1, rue Marcel Paul Massy 9130031
32 Bureau de 159m² Saint Maur Des Fosses 9410032
33 Bureaux à vendre de 280m2 RUE FOUCHER LEPELLETIER Issy Les Moulineaux 9213033
34 BUREAUX A VENDRE 12, allée Lech Walesa Lognes 7718534
35 Vente Bureau BORDEAUX 33000 4 Rue EMILE FOURCAND BORDEAUX 3300035
36 Location Bureau RENNES 35700 158 Rue 158 Rue d'Antrain RENNES 3570036
37 Vente Bureau BRUGES 33520 Rue SERGE DEJEAN BRUGES 3352037
38 A VENDRE OU A LOUER Marseille 1300938
39 BUREAUX A VENDRE OU A LOUER Bussy Saint Georges 7760039
40 A vendre bureaux occupés proche Opéra Paris 7500940
41 Vente Bureau Saint Ouen 93400 Saint Ouen 9340041
42 Rénovés - double parking - face Gare RER 22 square Robinson SCEAUX 9233042
43 Rare – Madeleine – 6 pièces – Beaux volumes rue de Surène PARIS 7500843
44 BUREAUX A VENDRE OU A LOUER Bussy Saint Georges 7760044
45 Vente Bureau Nanterre 92000 Nanterre 9200045
46 Vente Bureau Noisy Le Grand 93160 Noisy Le Grand 9316046
47 Vente Bureau Merignac 33700 Merignac 3370047
48 BUREAUX A VENDRE Noisy Le Grand 9316048
49 Vente Bureau Paris 75013 Paris 7501349
50 BUREAUX A VENDRE Bordeaux 3300050
51 Bureaux à louer et à vendre de 400m2 PLACE DU SUD Puteaux 9280051
52 Vente Bureau Les Pavillons Sous Bois 93320 Les Pavillons Sous Bois 9332052
53 En Exclusivité - A Vendre - Bureaux - 186 m2 - ZI Les Paluds - Agora Aubagne 1340053
54 Vente bureaux Issy-les-moulineaux 92130 Issy Les Moulineaux 9213054
55 PARC D'ACTIVITE - ACTISQUARE III (bis) Dommartin 6938055
56 BUREAUX A VENDRE Labege 3167056
57 BUREAUX A VENDRE OU A LOUER Bussy Saint Georges 7760057
58 BUREAUX A VENDRE Noisy Le Grand 9316058
59 BUREAUX D'ENVIRON 370 m² DISPONIBLES IMMEDIATEMENT A l'ACHAT A FONDETTES Fondettes 3723059
60 A VENDRE OU A LOUER Asnieres Sur Seine 9260060
61 A VENDRE - BUREAUX DE 130 M² IDÉALEMENT SITUÉS EN FACE DE L’AÉROPORT Blagnac 3170061
62 A VENDRE OU A LOUER Villefranche Sur Saone 6940062
63 Vente Bureau PARIS 75015 8 RUE BORROMEE PARIS 7501563
64 La Joliette/Bureaux à vendre en pied d'immeuble Marseille 1300264
65 Vente Bureau Asnieres Sur Seine 92600 Asnieres Sur Seine 9260065
66 Vente Bureau OULLINS 69600 27 Rue Saint-Exupéry OULLINS 6960066
67 Bureaux A VENDRE Allée de la connaissance LIEUSAINT 7712767
68 A VENDRE OU A LOUER Chateau Gaillard 0150068
69 BUREAUX A VENDRE OU A LOUER Lissieu 6938069
70 Vente Bureau CESSON SEVIGNE 35510 CESSON SEVIGNE 3551070
71 IMMEUBLE DE BUREAUX PRIVATIF A VENDRE Merignac 3370071
72 IMMEUBLE EMBLEMATIQUE CENTRE-VILLE DE BOULOGNE-SUR-MER Place des Capucins BOULOGNE SUR MER 6220072
73 Vente Bureau Paris 75008 Paris 7500873
74 A LOUER / A VENDRE - QUIMPER - BUREAUX - 115 m² env Quimper 2900074
75 Location Bureau BORDEAUX 33000 Avenue DES 40 JOURNAUX BORDEAUX 3300075
76 Vente Bureau Courbevoie 92400 Courbevoie 9240076
77 BUREAUX A VENDRE OU A LOUER Lissieu 6938077
78 Vente Bureau Asnieres Sur Seine 92600 Asnieres Sur Seine 9260078
79 Vente Bureau Asnieres Sur Seine 92600 Asnieres Sur Seine 9260079
80 Bureaux Vide 20 m² Cannes 0640080
81 Vente Bureau ROSNY SOUS BOIS 93110 14 RUE DE LISBONNE ROSNY SOUS BOIS 9311081
82 Plateau de Bureaux à vendre / Palais Royal paris 7500282
83 A vendre bureaux 118m² centre ville Marseille Marseille 1300683
84 Vente Bureau Clichy 92110 92-98 BOULEVARD VICTOR HUGO Clichy 9211084
85 BUREAUX 138 m² (non div.) à vendre (PARIS 75002) Paris 7500285
86 Vente Bureau Gennevilliers 92230 AVENUE DES LOUVRESSES Gennevilliers 9223086
87 Location Bureau VILLENEUVE D ASCQ 59650 25 Rue DU CARROUSEL VILLENEUVE D ASCQ 5965087
88 A VENDRE OU A LOUER Place des Champs Elysées Courcouronnes 9108088
89 BUREAUX A VENDRE Echirolles 3813089
90 A VENDRE OU A LOUER rue des Fossés 90
rue des Fossés Melun 7700091
91 Vente Bureaux Paris 75011 Paris 7501192