안녕하세요.
웹크롤링을 공부하던 도중에 자바스크립트 혹은 제이쿼리로 작성된 웹페이지는 어떻게 가져올 수 있는지 의문이 생겼는데요.
일단 목표는 야후 파이낸스의 재무제표 입니다.

import requests
import pandas as pd
from bs4 import BeautifulSoup as bs
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from time import time

driver = webdriver.Chrome(r"C:\Users\live_\Desktop\data study\chromedriver.exe") #chromedriver loaded
sample_url = 'https://finance.yahoo.com/quote/AMZN/financials?p=AMZN' #url address
driver.get(sample_url)
driver.page_source
bs_find = bs(driver.page_source, 'lxml')
bs_find.find_all('div', class_="M(0) Whs(n) BdEnd Bdc($seperatorColor) D(itb)")

https://finance.yahoo.com/quote/AMZN/financials?p=AMZN

이 주소로 들어가서 income statement 표가 table tag가 아닌 div 태그로 작성되어 있습니다.
이전에는 table tag로 작성되었던거 같은데 최근에 홈페이지 코드를 좀 바꾼거 같습니다.
(아마도 크롤링 때문이겠죠?)
저렇게 div 태그로 데이터를 가져오면 코드내 키/밸류 형식으로 데이터가 껴있는거 같은데 이걸 어떻게 정제해서
가져와야 되는지 감이 안잡힙니다.

이와는 조금 다른 케이스인데,

https://marketdata.krx.co.kr/mdi#document=040201
위의 사이트에서 검색 버튼을 눌러서 나오는 종목명을 가져오고 싶은데, 동적페이지로 작성되어 있어 스크롤바를 내려야만 네트워크 창에 종목명이 업데이트 됩니다.
(스크린샷을 올리고 싶은데 어떻게 올려야 되는지 모르겠네요.)

이 경우 어떻게 크롤링을 할 수 있을지 조언 해주시면 큰 도움이 될 거같습니다.
데이터를 악의적으로 막 가져오려는 의도가 아니고, 오직 학습 목적입니다.

감사합니다 !