|
:: 게시판
:: 이전 게시판
|
- PGR21 관련된 질문 및 건의는 [건의 게시판]을 이용바랍니다.
- (2013년 3월 이전) 오래된 질문글은 [이전 질문 게시판]에 있습니다. 통합 규정을 준수해 주십시오. (2015.12.25.)
통합규정 1.3 이용안내 인용"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
20/06/13 12:13
안녕하세요.
웹페이지는 크게 서버에서 렌더링하는 방식과 브라우저에서 렌더링하는 방식 두가지가 있습니다. (렌더링이라는 용어가 적절한지 모르겠습니다. 적당히 봐주세요.) 전자는 말씀하시는 source를 서버에서 미리 렌더링해서 텍스트형태로 보내주는 것이고, 후자는 서버에서 렌더링하지 않고 javascript라는 스크립트를 클라이언트에게 보내주면 클라이언트에서 스크립트 파일을 실행하여 source로 변환시키는 렌더링 작업을 합니다. 그러니깐 후자는 브라우저에서 추가적인 작업을 통해서 source를 생성한다고 생각하시면됩니다. 후자와 같은 방식으로 구성된 웹페이지를 일반적인 크롤링 방식으로 크롤링하는 경우(작성자분께서 사용하는 방식), 브라우저를 사용하지 않기 때문에, 스크립트파일을 soruce 형태로 렌더링하는 작업을 거치지 않게 됩니다. 말씀하시는 셀레니움이나 크롬에서는 정상적으로 나타나는 것은 브라우저 기반이기 때문에 렌더링 작업을 거쳐서 소스를 생성하기 떄문입니다. 해결책은 브라우저를 이용하여 크롤링하는 것입니다. 셀레니움을 이용해서 크롤링하셔도 되고, 다른 패키지들도 있을겁니다. 찾아보시고 해당 방법으로 렌더링 후에 크롤링하시길 바랍니다.
20/06/14 00:46
서버 source 로드 -> js 실행 -> 최종 html 이렇게 됩니다.
즉 js 실행 될 시간을 기다려줘야 해서 selenium driver로 wait 같은걸 걸어주면 될겁니다.
20/06/14 08:24
Selenium을 사용하고, 말씀하신 것과 비슷하게 지연시켜 일단 원하는 것은 구했습니다.
그래도 아직 전체적으로 시원하게 해결된 느낌은 아니어서^^;;; 조금 더 공부해야 할 듯 합니다. 답변에 감사를 드립니다.
20/06/14 06:35
크롬에서 F12말고 view page source 클릭하면 javascript처리 전에 소스를 볼 수 있습니다. 처리 하고 난 후의 소스 crawling은 사실 표준적인 방법은 없고요 (자바스크립트에서 클라이언트를 확인 가능하기 때문에 대상이 crawler면 그냥 렌더링을 안하는것도 가능합니다), 해 보면서 되는 수단을 써야 합니다. 간단한게는 같은 웹 사이트를 javascript를 꺼보고 접속한 다음 호환되는 contents 렌더링 방식이 있는지를 보고, 맞춰가는 방법도 있습니다. 아직 웹 표준에서는 javascript가 사용 불가능한 환경 (cli거나 임베디드같은 환경)을 위해서 html로만으로 이루어진 대체 정보를 화면에 뛰울것을 요청하고 있습니다. 따라서 웹 표준을 따르는 페이지라면, javascript없이도 뭔가 정보를 주긴 해야합니다.
20/06/14 08:39
답변에 감사를 드립니다.
그렇지 않아도 F12 와 view page source의 차이에 대해 궁금했었습니다. Urlopen과 requests와 selenium을 비교하고 있는데, 말씀하신 것처럼 표준적이고 쉬운 해결책은 없는 것 같네요. 클라이언트를 어떻게 확인하는지, 그것을 어떻게 속이는지, 공방을 조금 구경하니, 쌩초보의 영역도 아니구요. ^^;;; 그래도 알아가는 재미가 생겼습니다. :)
|
||||||||||