I have trouble scraping information on the next pages. I also have a problem when some tags change like when the website developer changes an “a href” with “h2 class” when I reach the appart_response= requests.get(link)
Please can you check with me the following code:
JavaScript
x
35
35
1
from bs4 import BeautifulSoup2
import requests3
url1 = "https://www.mubawab.ma/fr/ct/marrakech/immobilier-a-vendre-all:sc:apartments-for-sale:p:1"4
5
appart_no = 06
7
while True:8
response = requests.get(url1)9
data1 = response.text10
soup1 = BeautifulSoup(data1,'html.parser')11
apparts = soup1.find_all('h2',{'class':'listingTit'}) 12
13
for appart in apparts:14
appart_name_tag= appart.find('a')15
appart_name=appart_name_tag.text if appart_name_tag else "N/A"16
link_tag= appart.find('a')17
link=link_tag.get('href') if link_tag else "N/A"18
appart_response= requests.get(link)19
appart_data= appart_response.text20
appart_soup= BeautifulSoup(appart_data, 'html.parser')21
appart_room_tag = appart_soup.find('div',{'class':'catNav'})22
appart_room = appart_room_tag.text if appart_room_tag else "N/A"23
appart_no+=124
print('appartment name:',appart_name,'nappartment link:',link,'nappartment rooms:', appart_room)25
26
url_tag1 = soup1.find('a',{'class':'arrowDot'})27
if url_tag1.get('href'):28
url1= 'https://www.mubawab.ma/fr/ct/marrakech/immobilier-a-vendre-all:sc:apartments-for-sale:p:2' + url_tag1.get('href')29
print(url1)30
else:31
break32
33
print("Total apparts:", appart_no)34
35
Advertisement
Answer
There is second <a> with text En savoir plus.
Sometimes it may have href="#" but usually when it has # then <h2><a> exists and has correct href. So you can try to search both links and use correct one.
I use 'div', {'class': 'contentBox'} instead of 'h2',{'class':'listingTit'} and then find('a') gives me first <a> (if exists) or second <a> and I get correct href.
To make sure I use if/else to skip room when I don’t have href
Page has two 'a',{'class':'arrowDot'} (left arrow, right arrow) but sometimes left arrow is hidden – but still it need to get second arrow to get correct url to next page
JavaScript
1
7
1
arrow_tags = soup.find_all('a', {'class': 'arrowDot'})2
3
if len(arrow_tags) > 1 and arrow_tags[-1].get('href'):4
url = arrow_tags[-1].get('href')5
else:6
break7
Full working code:
JavaScript
1
55
55
1
from bs4 import BeautifulSoup2
import requests3
4
url = "https://www.mubawab.ma/fr/ct/marrakech/immobilier-a-vendre-all:sc:apartments-for-sale:p:1"5
6
appart_no = 07
8
while True:9
print('n--- new page ---n')10
print('url:', url, 'n')11
12
response = requests.get(url)13
soup = BeautifulSoup(response.text, 'html.parser')14
15
apparts = soup.find_all('div', {'class': 'contentBox'}) 16
17
for appart in apparts:18
name_tag = appart.find('h2', {'class': 'listingTit'})19
name = name_tag.text.strip()20
21
link = appart.find('a').get('href', 'NA')22
23
if link == 'N/A' or link == '#':24
print('SKIP:', name, link)25
else:26
#print('OK')27
28
appart_response = requests.get(link)29
appart_soup = BeautifulSoup(appart_response.text, 'html.parser')30
31
room_tag = appart_soup.find('div', {'class': 'catNav'})32
room = room_tag.get_text(strip=True, separator='|') if room_tag else "N/A"33
appart_no += 134
35
# clean up the text - split to lines, and remove extra spaces, and join it back to one string36
parts = room.split('n')37
parts = (x.strip() for x in parts)38
room = " ".join(parts)39
40
print('name :', name)41
print('link :', link,)42
print('rooms:', room)43
print('---')44
45
# there are always two `arrowDot` (left, right) but some can be hidden46
arrow_tags = soup.find_all('a', {'class': 'arrowDot'})47
print(arrow_tags)48
49
if len(arrow_tags) > 1 and arrow_tags[-1].get('href'):50
url = arrow_tags[-1].get('href')51
else:52
break53
54
print("Total apparts:", appart_no)55
Result (for first page):
JavaScript
1
146
146
1
--- new page ---2
3
url: https://www.mubawab.ma/fr/ct/marrakech/immobilier-a-vendre-all:sc:apartments-for-sale:p:14
5
name : Duplex de charme6
link : https://www.mubawab.ma/fr/a/7367289/duplex-de-charme7
rooms: 205 m²|5 Pièces|2 Chambres|2 Salles de bains|Bon état|5-10 ans8
---9
name : Appartement a vendre au cœur de la palmer10
link : https://www.mubawab.ma/fr/a/7121614/appartement-a-vendre-au-c%C5%93ur-de-la-palmeraie-de-marrakech11
rooms: 205 m²|4 Pièces|3 Chambres|2 Salles de bains|Nouveau|5-10 ans12
---13
name : Appartement de 61m² en vente Al Boughaz G14
link : https://www.mubawab.ma/fr/pa/7347251/appartement-de-61m%C2%B2-en-vente-al-boughaz-gu%C3%A9liz15
rooms: 61 m²|3 Pièces|2 Chambres|1 Salle de bain|Nouveau16
---17
name : Appartement en vente à Ennakhil Palmeraie18
link : https://www.mubawab.ma/fr/a/7360138/appartement-en-vente-%C3%A0-ennakhil-palmeraie-surface-totale-102-m%C2%B2-piscine-climatisation19
rooms: 102 m²|3 Pièces|2 Chambres|2 Salles de bains|Bon état|10-20 ans20
---21
name : Top affaire Appt T2 Victor Hugo grande te22
link : https://www.mubawab.ma/fr/a/7275268/top-affaire-appt-t2-victor-hugo-grande-terrasse23
rooms: 90 m²|2 Pièces|1 Chambre|1 Salle de bain|Bon état|1-5 ans|1er étage24
---25
name : Appartement de 82m² JNANE EL ALI26
link : https://www.mubawab.ma/fr/pa/6657050/appartement-de-82m%C2%B2-jnane-el-ali27
rooms: 82 m²|3 Pièces|2 Chambres|2 Salles de bains|Nouveau|2ème étage28
---29
name : FABULEUX. Appt T4 jardin privé res Piscin30
link : https://www.mubawab.ma/fr/a/7013145/fabuleux-appt-t4-jardin-priv%C3%A9-res-piscine-agdal31
rooms: 330 m²|4 Pièces|3 Chambres|2 Salles de bains|Nouveau|1-5 ans32
---33
name : Appartement de 82m² JNANE EL ALI34
link : https://www.mubawab.ma/fr/pa/6657046/appartement-de-82m%C2%B2-jnane-el-ali35
rooms: 82 m²|3 Pièces|2 Chambres|2 Salles de bains|Nouveau36
---37
name : Lots de Terrains - Mysk Marrakech38
link : https://www.mubawab.ma/fr/p/3171/lots-de-terrains-mysk-marrakech39
rooms: Haut standing|Finalisé|Livraison: 01/2140
---41
name : Appartement luxueux en vente a marrakech42
link : https://www.mubawab.ma/fr/a/7307003/appartement-luxueux-en-vente-a-marrakech-hivernage43
rooms: 135 m²|4 Pièces|2 Chambres|2 Salles de bains|Bon état|5-10 ans|6ème étage44
---45
name : Appartement à vendre46
link : https://www.mubawab.ma/fr/a/7361252/appartement-%C3%A0-vendre47
rooms: 227 m²|5 Pièces|4 Chambres|3 Salles de bains|Nouveau|1-5 ans48
---49
name : Stop. Très bonne affaire50
link : https://www.mubawab.ma/fr/a/7353960/stop-tr%C3%A8s-bonne-affaire51
rooms: 47 m²|2 Pièces|1 Chambre|1 Salle de bain|Nouveau|Moins d'un an52
---53
name : Projet sur l'agdal avec des appartements...54
link : https://www.mubawab.ma/fr/a/7243656/projet-sur-l-agdal-avec-des-appartements-a-la-vent55
rooms: 60 m²|3 Pièces|1 Chambre|2 Salles de bains|Nouveau|Moins d'un an|1er étage56
---57
name : Bel appartement à vendre à Guéliz avec as58
link : https://www.mubawab.ma/fr/a/7270379/bel-appartement-%C3%A0-vendre-%C3%A0-gu%C3%A9liz-avec-ascenseur-et-terrasse59
rooms: 74 m²|3 Pièces|2 Chambres|1 Salle de bain|Bon état|1-5 ans|5ème étage60
---61
name : Bel appartement à Marrakech avec un prix62
link : https://www.mubawab.ma/fr/a/7279598/bel-appartement-%C3%A0-marrakech-avec-un-prix-tr%C3%A8s-raisonnable63
rooms: 97 m²|4 Pièces|2 Chambres|2 Salles de bains|Nouveau|Moins d'un an64
---65
name : Appartement en vente à Agdal. 2 chambres66
link : https://www.mubawab.ma/fr/a/7341280/appartement-en-vente-%C3%A0-agdal-2-chambres-agr%C3%A9ables67
rooms: 103 m²|3 Pièces|2 Chambres|2 Salles de bains|Bon état|1-5 ans|2ème étage68
---69
name : A vendre rez de jardin prestigia marrakec70
link : https://www.mubawab.ma/fr/a/7379956/a-vendre-rez-de-jardin-prestigia-marrakech71
rooms: 176 m²|4 Pièces|2 Chambres|2 Salles de bains|Bon état|5-10 ans72
---73
name : Sublime duplex dans un quartier résidenti74
link : https://www.mubawab.ma/fr/a/7313841/sublime-duplex-dans-un-quartier-r%C3%A9sidentiel75
rooms: 300 m²|5 Pièces|3 Chambres|3 Salles de bains|Bon état|5-10 ans|4ème étage76
---77
name : Appartement en vente à Marrakech. 1 chamb78
link : https://www.mubawab.ma/fr/a/6922706/appartement-en-vente-%C3%A0-marrakech-1-chambre-avec-ascenseur-et-espace-vert79
rooms: 65 m²|2 Pièces|1 Chambre|1 Salle de bain|Bon état|5-10 ans80
---81
name : Appartement de 103m² en vente, Caprice Hi82
link : https://www.mubawab.ma/fr/pa/7152699/appartement-de-103m%C2%B2-en-vente-caprice-hivernage83
rooms: 103 m²|4 Pièces|3 Chambres|2 Salles de bains84
---85
name : Duplex de 78m² et 43m² de mezzanine en ve86
link : https://www.mubawab.ma/fr/pa/7347254/duplex-de-78m%C2%B2-et-43m%C2%B2-de-mezzanine-en-vente-al-boughaz-gu%C3%A9liz87
rooms: 121 m²|5 Pièces|4 Chambres|3 Salles de bains|Nouveau88
---89
name : Appartement de 90m² en vente, Big Sakane90
link : https://www.mubawab.ma/fr/pa/7095955/appartement-de-90m%C2%B2-en-vente-big-sakane91
rooms: 90 m²|3 Chambres|2 Salles de bains92
---93
name : Appartement de 116 m² en vente, Orée de l94
link : https://www.mubawab.ma/fr/pa/6373247/appartement-de-116-m%C2%B2-en-vente-or%C3%A9e-de-la-palmeraie95
rooms: 116 m²|4 Pièces|3 Chambres|2 Salles de bains|Nouveau|Moins d'un an|1er étage96
---97
name : Appartement de 82m² JNANE EL ALI98
link : https://www.mubawab.ma/fr/pa/6649563/appartement-de-82m%C2%B2-jnane-el-ali99
rooms: 82 m²|3 Pièces|2 Chambres|2 Salles de bains|Nouveau|1er étage100
---101
name : Superbe appartement à vendre à Guéliz. 2...102
link : https://www.mubawab.ma/fr/a/7380120/superbe-appartement-%C3%A0-vendre-%C3%A0-gu%C3%A9liz-2-chambres-bien-meubl%C3%A9103
rooms: 60 m²|3 Pièces|2 Chambres|1 Salle de bain|Nouveau|1-5 ans|2ème étage104
---105
name : Vend appartement à Bab Ighli. 2 belles ch106
link : https://www.mubawab.ma/fr/a/7366360/vend-appartement-%C3%A0-bab-ighli-2-belles-chambres107
rooms: 78 m²|3 Pièces|2 Chambres|2 Salles de bains|Bon état|1-5 ans|1er étage108
---109
name : Joli Appart. F2 au centre Guéliz place Pa110
link : https://www.mubawab.ma/fr/a/7081631/joli-appart-f2-au-centre-gu%C3%A9liz-place-parking111
rooms: 54 m²|2 Pièces|1 Chambre|1 Salle de bain|Bon état|5-10 ans|2ème étage112
---113
name : Appartement F3, Résidence avec Piscine et114
link : https://www.mubawab.ma/fr/a/6884701/appartement-f3-r%C3%A9sidence-avec-piscine-et-jardin115
rooms: 103 m²|3 Pièces|2 Chambres|2 Salles de bains|Nouveau|1-5 ans|3ème étage116
---117
name : Duplex de 3 chambres, 2 SDB à Hay CHARAF118
link : https://www.mubawab.ma/fr/a/7145358/duplex-de-3-chambres-2-sdb-%C3%A0-hay-charaf119
rooms: 114 m²|4 Pièces|3 Chambres|2 Salles de bains|Nouveau|Moins d'un an120
---121
name : Superbe Appartement avec Terrasse a la Ve122
link : https://www.mubawab.ma/fr/a/7204313/superbe-appartement-avec-terrasse-a-la-vente123
rooms: 100 m²|3 Pièces|2 Chambres|1 Salle de bain|Nouveau|1-5 ans|1er étage124
---125
name : Appart. Neuf, 2 chambres 2 SDB, parking126
link : https://www.mubawab.ma/fr/a/7317298/appart-neuf-2-chambres-2-sdb-parking-piscine-127
rooms: 65 m²|3 Pièces|2 Chambres|2 Salles de bains|Nouveau|Moins d'un an|1er étage128
---129
name : Idéal Appartement a Gueliz130
link : https://www.mubawab.ma/fr/a/7380001/id%C3%A9al-appartement-a-gueliz131
rooms: 50 m²|2 Pièces|1 Chambre|2 Salles de bains|Nouveau|1-5 ans|1er étage132
---133
name : Marrakech golf City Prestigia appartement134
link : https://www.mubawab.ma/fr/a/7212624/marrakech-golf-city-prestigia-appartement-1-chambre-%C3%A0-vendre135
rooms: 48 m²|2 Pièces|1 Chambre|1 Salle de bain|Bon état|1-5 ans|1er étage136
---137
name : Appartement à vendre à Agdal. 3 chambres138
link : https://www.mubawab.ma/fr/a/6827038/appartement-%C3%A0-vendre-%C3%A0-agdal-3-chambres-agr%C3%A9ables-vue-piscine139
rooms: 97 m²|4 Pièces|3 Chambres|2 Salles de bains|Nouveau|Moins d'un an|1er étage140
---141
142
--- new page ---143
144
url: https://www.mubawab.ma/fr/ct/marrakech/immobilier-a-vendre-all:sc:apartments-for-sale:p:2145
146