웹페이지의 목록을 CSV로 내보내는 방법

목록이 표보다 어려운 이유

검색 결과, 상품 목록, 채용 사이트, 디렉터리, 마켓플레이스는 정보를 카드 목록으로 보여 줍니다. 카드마다 제목, 링크, 가격, 그리고 평점이나 위치가 있을 수 있는데, 행과 열이 아니라 시각적으로 배치되어 있습니다. 그래서 목록을 선택해 스프레드시트에 붙여 넣으면 뒤섞인 텍스트가 긴 한 열로 들어갑니다. 페이지가 어떤 부분끼리 한 묶음인지 브라우저에 알려 준 적이 없기 때문입니다.

원하는 데이터가 진짜 표에 있다면, 모든 웹사이트 표에 CSV 내보내기 버튼을 추가하는 블로그 글에서 더 간단한 그 경우를 다룹니다. 이 가이드는 목록에 관한 것입니다.

기본 제공 방법

Google 스프레드시트에는 데이터마다 경로를 작성할 수 있다면 공개 페이지의 데이터를 시트로 가져오는 IMPORTXML 함수가 있습니다. 강력하지만 손이 많이 갑니다. 로그인이 필요한 페이지나, 로드 후에 스크립트로 콘텐츠를 만드는 페이지에서는 작동하지 않는데, 요즘 쇼핑몰과 채용 사이트 대부분이 여기에 해당합니다.

수동 방법

짧은 목록이라면 직접 시트를 만드는 것도 확실한 방법입니다.

1. 제목, 링크, 가격 열을 만듭니다.
2. 항목마다 제목을 복사하고, 링크를 오른쪽 클릭해 링크 주소 복사를 고른 다음, 가격을 복사합니다.
3. 다 되면 시트를 CSV로 저장합니다.

정확하지만 느립니다. 20개면 10분, 200개면 오후 한나절이고, 끝내기 전에 목록이 바뀔 수도 있습니다. 목록 전체를 붙여 넣고 수식으로 정리하는 편이 빠른 경우도 있지만, 사이트마다 정리 방식이 따로 필요합니다.

도구로 영구히 해결하기

페이지의 버튼 하나가 대신 읽어 줄 수 있습니다. 사용자 스크립트는 원하는 사이트에서 실행되는 짧은 JavaScript 코드입니다. 내보내기용 사용자 스크립트는 그 사이트 목록의 항목이 어떻게 구성되어 있는지 알기 때문에, 카드마다 제목, 전체 링크, 가격을 뽑아 올바른 열에 넣고, Excel, Numbers, Google 스프레드시트에서 바로 열리는 .csv 파일로 내려받게 할 수 있습니다.

ScriptPanda는 간단한 설명만으로 이런 사용자 스크립트를 작성하는 Chrome 확장 프로그램입니다. 목록이 있는 페이지에서 사이드 패널을 열고 이 가이드 끝의 요청을 붙여 넣으면, 목록 위에 버튼을 만들어 줍니다. 그 페이지의 구조를 직접 보기 때문에 열은 평범한 말로 설명하면 되고, 평점, 판매자, 위치, 게시일 등 카드에 보이는 것이라면 더 요청할 수도 있습니다.

내보내기는 AI를 호출하지 않으므로 버튼을 눌러도 요금제의 요청을 쓰지 않습니다. 도구를 만들거나 고칠 때만 요청을 씁니다.

사람들이 이어서 자주 요청하는 것들:

• 모든 결과 페이지. '더 보기'나 무한 스크롤로 불러온 항목도, 스크롤해서 화면에 띄운 뒤라면 내보내기에 포함해 달라고 하세요.
• 깔끔한 숫자. 스프레드시트에서 합계를 낼 수 있게 통화 기호를 뺀 가격.
• 파일 이름에 날짜 넣기, 반복해서 내보내도 서로 덮어쓰지 않도록.

사이트 규칙 확인하기

화면에 보이는 것을 개인적으로 쓰려고 내보내는 것은 대개 문제없습니다. 일부 사이트는 약관에서 데이터를 대량으로 복사하거나 재사용하는 것을 제한합니다. 업무용으로 데이터를 모으거나 다시 게시하려면 먼저 사이트 약관을 읽으세요.

한계

버튼은 클릭한 순간 페이지에 있는 항목을 내보냅니다. 다른 페이지를 방문하거나, 각 항목의 링크로 들어가거나, 예약 실행하지 않으며, 불러오지 않은 것은 내보낼 수 없습니다. 어떤 정보는 각 항목의 상세 페이지에만 있어서, 페이지 단위 도구가 목록에서는 가져올 수 없습니다. 사이트가 목록 구조를 바꾸면 일부 열이 비어 나올 수 있습니다. 페이지에서 ScriptPanda를 열고 어느 열이 잘못됐는지 말한 뒤 도구를 고쳐 달라고 하세요. CSV 파일은 일반 다운로드처럼 컴퓨터에 저장됩니다.