BeautifulSoup не находит элементов

Я начал использовать BeautifulSoup, и, к сожалению, он не работает, как ожидалось.

В следующей ссылке https://www.globes.co.il/news/article.aspx?did=1001285059 содержится следующий элемент:

<div class="sppre_message-data-wrapper">... </div>

Я попытался получить этот элемент, написав следующий код:

html = urlopen("https://www.globes.co.il/news/article.aspx?did=1001285059")
bsObj = BeautifulSoup(html.read(), features="html.parser")
comments = bsObj.find_all('div', {'class': ["sppre_message-data-wrapper"]})
print(comments)

«комментарии» дали пустой массив

Всего 1 ответ


Это в фрейме. Сделайте запрос в iframe src

https://spoxy-shard2.spot.im/v2/spot/sp_8BE2orzs/post/1001285059/?elementId=6a97624752c75d958352037d2b36df77&spot_im_platform=desktop&host_url=https%3A%2F%2Fwww.globes.co.il%2Fnews%2Farticle.aspx%3Fdid%3D1001285059&host_url_64=aHR0cHM6Ly93d3cuZ2xvYmVzLmNvLmlsL25ld3MvYXJ0aWNsZS5hc3B4P2RpZD0xMDAxMjg1MDU5&pageSize=1&count=1&spot_im_ph__prerender_deferred=true&prerenderDeferred=true&sort_by=newest&conversationSkin=light&isStarsRatingEnabled=false&enableMessageShare=true&enableAnonymize=true&isConversationLiveBlog=false&enableSeeMoreButton=true

ру

from bs4 import BeautifulSoup as bs
import requests

r = requests.get('https://spoxy-shard2.spot.im/v2/spot/sp_8BE2orzs/post/1001285059/?elementId=6a97624752c75d958352037d2b36df77&spot_im_platform=desktop&host_url=https%3A%2F%2Fwww.globes.co.il%2Fnews%2Farticle.aspx%3Fdid%3D1001285059&host_url_64=aHR0cHM6Ly93d3cuZ2xvYmVzLmNvLmlsL25ld3MvYXJ0aWNsZS5hc3B4P2RpZD0xMDAxMjg1MDU5&pageSize=1&count=1&spot_im_ph__prerender_deferred=true&prerenderDeferred=true&sort_by=newest&conversationSkin=light&isStarsRatingEnabled=false&enableMessageShare=true&enableAnonymize=true&isConversationLiveBlog=false&enableSeeMoreButton=true')
soup= bs(r.content,'html.parser')
comments = [item.text for item in soup.select('.sppre_message-data-wrapper')]
print(comments)

BeautifulSoup не поддерживает глубокий комбинатор (который, я думаю, теперь уже не используется), но вы можете увидеть это в браузере (Chrome), используя:

*/deep/.sppre_message-data-wrapper

В конечном итоге это не имело бы значения, поскольку в ответах на запросы от исходного URL-адреса отсутствует контент.

В качестве альтернативы вы можете использовать селен и переключиться на iframe. Хотя есть идентификатор 401bccf8039377de3e9873905037a855-iframe т.е. # 401bccf8039377de3e9873905037a855-iframe для find_element_by_css_selector, чтобы затем переключиться на более надежный (в случае, если идентификатор является динамическим) селектор .sppre_frame-container iframe бы был .sppre_frame-container iframe


Есть идеи?

10000