클로드로 업체 연락처 수천 개를 무료로 모으는 법

영업할 곳을 찾을 때 업체 홈페이지를 하나씩 열어 이메일과 전화번호를 옮겨 적는 일은 하루를 통째로 먹습니다. 무료 오픈소스 도구 하나를 깔면 클로드가 그 페이지를 대신 읽고 공개된 연락처만 골라 표 파일로 정리해 줍니다. 이 자료는 설치부터 매일 아침 자동 수집까지를 순서대로 담았습니다.

⚡ 복사해서 바로 시작하는 프롬프트: 설치부터 검증까지 AI에게 맡기기

역할: ScrapeGraphAI의 설치와 연결 검증을 맡는 담당
맥락: 이 컴퓨터에는 ScrapeGraphAI가 아직 설치되지 않았을 수 있고, 지금은 업체 연락처를 사람이 직접 복사해서 모으고 있는 상태입니다
입력: <운영체제와 셸, 예: macOS zsh>, <기술 스택, 예: 파이썬만 쓰는 빈 폴더>, <목표 한 줄, 예: 업체 목록 페이지에서 이메일과 전화번호를 표로 모으고 싶다>
작업: 아래 네 단계를 순서대로 진행하세요.
1. 설치 여부 확인: `python3 --version`이 3.12 이상인지 확인하고, `pip show scrapegraphai`와 `ollama --version`으로 이미 설치돼 있는지 확인하세요. 이미 있으면 다시 설치하지 말고 버전만 보고하세요.
2. 미설치 시 설치: 새 폴더에 가상환경을 만들고 그 안에서 `pip install scrapegraphai`와 `playwright install`을 실행하세요. Ollama가 없으면 공식 사이트에서 설치하도록 안내한 뒤 `ollama pull llama3.1`을 실행하세요.
3. 연결 검증: `ollama serve`를 켠 상태에서 공개 페이지 한 개를 대상으로 하는 테스트 스크립트를 만들어 실제로 실행하고, 결과가 빈 값이 아닌 실제 데이터인지 확인하세요.
4. 마지막에 이 도구가 무엇이고 앞으로 어떻게 쓰면 되는지, 개발을 처음 하는 사람도 이해할 수 있는 말로 다섯 줄 이내로 설명하세요.
제약: 시스템 전체가 아니라 반드시 가상환경 안에 설치하세요. 기존 파일과 설정을 덮어쓰지 마세요. API 키 값은 화면에 출력하지 마세요. 공개된 연락처만 대상으로 하고 사이트 이용약관과 robots.txt를 지키세요.
출력: 실제로 실행한 명령어 목록, 확인된 파이썬 버전과 패키지 버전, 새로 생긴 폴더와 파일, 남아 있는 오류를 정리해 주세요.
검증: `pip show scrapegraphai`가 버전을 출력하고, `curl http://localhost:11434/api/tags`가 모델 목록을 돌려주고, 테스트 스크립트가 빈 값이 아닌 실제 데이터를 출력해야 합니다. 하나라도 실패하면 완료로 보고하지 말고 실패한 명령어와 원인, 다음 조치를 알려주세요.

Quick Start

공식 사이트: scrapegraphai.com
공식 GitHub: ScrapeGraphAI/Scrapegraph-ai

터미널을 열고 아래 두 줄을 한 줄씩 붙여넣으세요. 수집 도구와 브라우저 조종 프로그램을 까는 명령어입니다.

pip install scrapegraphai
playwright install

성공하면 설치 진행 표시가 쭉 지나가고 마지막에 오류 없이 프롬프트가 다시 돌아옵니다. 브라우저를 내려받느라 몇 분 걸립니다.

그다음 무료로 돌릴 모델을 준비하는 명령어입니다.

ollama pull llama3.1
ollama serve

serve를 실행한 창은 켜 둔 채로 두세요. 이 창이 꺼지면 수집이 실패합니다.

설치가 됐는지 확인하는 명령어입니다. 새 터미널 창을 열고 실행하세요.

pip show scrapegraphai
curl http://localhost:11434/api/tags

첫 줄은 버전 번호를, 둘째 줄은 내려받은 모델 목록을 글자로 뱉으면 성공입니다.

주소 한 줄을 넣으면 연락처 표가 나오기까지의 네 단계

STEP 1. 준비물 확인: 3분

이 단계에서는 설치가 중간에 멈추지 않도록 파이썬 버전을 먼저 확인합니다. 이 도구는 파이썬 3.12 이상에서만 돌아가고, 버전이 낮으면 설치 명령어가 그냥 실패합니다.

용어: 파이썬은 프로그램을 실행해 주는 프로그램입니다. 여기서는 수집 도구를 돌리는 데만 씁니다.

지금 깔린 버전을 확인하는 명령어입니다.

python3 --version

Python 3.12 이상이 나오면 됩니다. 낮은 버전이거나 command not found가 나오면 python.org에서 최신 버전을 설치한 뒤 터미널을 새로 열어 주세요.

작업할 폴더를 만들고 그 안에 격리된 방을 하나 파는 명령어입니다.

mkdir lead-scraper && cd lead-scraper
python3 -m venv venv
source venv/bin/activate

용어: 가상환경은 이 폴더 전용 설치 공간입니다. 여기 안에 깔면 컴퓨터의 다른 프로그램과 충돌하지 않습니다.

성공하면 터미널 줄 맨 앞에 (venv)가 붙습니다. 이게 보여야 제대로 들어온 겁니다. 윈도우에서는 마지막 줄 대신 venv\Scripts\activate를 실행하세요.

STEP 2. 설치: 10분

이 단계에서는 수집 도구 본체와 브라우저 조종 프로그램을 깝니다. 요즘 사이트는 화면에 글자가 나중에 그려지는 경우가 많아서, 브라우저를 직접 띄워 읽어야 값이 제대로 잡힙니다.

설치 방법은 세 가지입니다. 파이썬이 있으면 2번, 클로드 코드를 쓰고 있으면 1번이 가장 편합니다.

설치 경로 세 가지 — 클로드 코드에 맡기기, 터미널 직접, 명령어 도구

가상환경이 켜진 상태에서 아래 두 줄을 실행하세요. 수집 도구와 브라우저를 까는 명령어입니다.

pip install scrapegraphai
playwright install

성공하면 Successfully installed scrapegraphai... 같은 줄이 나오고, 브라우저 내려받기가 끝나면 프롬프트가 돌아옵니다.

클로드 코드를 쓰고 있다면 아래 프롬프트를 그대로 붙여넣어도 됩니다. 가상환경 생성부터 테스트까지 알아서 합니다.

이 저장소를 새 폴더에 설치해 줘: https://github.com/ScrapeGraphAI/Scrapegraph-ai
가상환경을 만들고, 패키지와 playwright 브라우저까지 설치한 다음,
페이지 하나를 실제로 긁어 보는 테스트 스크립트를 만들어서 돌려 줘.

성공하면 클로드가 만든 테스트 스크립트가 실제 웹페이지의 내용을 글자로 뱉습니다.

STEP 3. 무료 모델 연결: 8분

이 단계에서는 요금이 붙지 않는 모델을 내 컴퓨터 안에 준비합니다. 수집한 줄마다 돈이 나가면 목록을 크게 만들 수 없기 때문에, 여기가 비용을 0으로 만드는 핵심입니다.

용어: Ollama는 AI 모델을 내 컴퓨터에서 돌려 주는 무료 프로그램입니다. 인터넷 회사 서버를 거치지 않습니다.

먼저 ollama.com에서 프로그램을 받아 설치하세요. 그다음 모델을 내려받고 켜는 명령어입니다.

ollama pull llama3.1
ollama serve

성공하면 내려받기 진행 막대가 끝까지 차고, serve를 실행하면 로그가 흐르면서 창이 계속 켜져 있습니다. 이 창은 닫지 마세요. 작업은 새 터미널 창에서 합니다.

연결이 됐는지 확인하는 명령어입니다. 새 창에서 실행하세요.

curl http://localhost:11434/api/tags

llama3.1이 목록에 보이면 성공입니다. 아무것도 안 나오면 ollama serve 창이 꺼진 겁니다.

STEP 4. 한 페이지로 시험: 10분

이 단계에서는 진짜 수집을 걸기 전에 페이지 하나로 동작을 확인합니다. 여기서 값이 나와야 뒤 단계가 의미가 있습니다.

아래 내용을 test.py라는 이름으로 저장하세요. 페이지 하나를 읽어 원하는 항목만 뽑아 오는 코드입니다.

from scrapegraphai.graphs import SmartScraperGraph

graph_config = {
    "llm": {
        "model": "ollama/llama3.1",
        "model_tokens": 8192,
        "base_url": "http://localhost:11434",
    },
    "verbose": True,
    "headless": True,
}

scraper = SmartScraperGraph(
    prompt="회사 이름, 담당자 이름, 공개된 이메일, 전화번호, 홈페이지 주소, 지역을 모두 뽑아 줘.",
    source="https://scrapegraphai.com/",
    config=graph_config,
)

print(scraper.run())

prompt에는 무엇을 뽑을지 한국어로 적으면 되고, source에는 읽을 페이지 주소를 넣습니다. 실행하는 명령어입니다.

python test.py

성공하면 중괄호로 둘러싸인 결과가 화면에 찍힙니다. 빈 값만 나오면 STEP 2의 playwright install을 건너뛴 경우가 대부분입니다.

용도에 따라 쓰는 종류가 다릅니다. 아래 표에서 골라 SmartScraperGraph 자리를 바꾸면 됩니다.

종류	하는 일
`SmartScraperGraph`	페이지 한 개에서 원하는 항목을 뽑습니다
`SearchGraph`	먼저 웹을 검색한 뒤 상위 결과들을 읽습니다
`SmartScraperMultiGraph`	주소 여러 개에 같은 지시를 적용합니다
`ScriptCreatorGraph`	다시 쓸 수 있는 수집 스크립트를 대신 만들어 줍니다

STEP 5. 연락처 목록 만들기: 15분

이 단계에서는 업종별 업체 목록에서 연락처를 뽑아 표 파일로 쌓습니다. 시험이 통과됐으면 이제 진짜 목록을 만들 차례입니다.

클로드 코드에 아래 프롬프트를 그대로 붙여넣으세요. 꺾쇠 부분만 내 상황으로 바꾸면 됩니다.

이 폴더의 ScrapeGraphAI로 연락처 수집기를 만들어 줘.

대상: <업체 목록 페이지 주소를 여기에 붙여넣기>
각 업체마다 뽑을 항목: 회사 이름, 담당자 이름, 직함, 공개 이메일, 전화번호, 홈페이지, 지역, 출처 주소

규칙:
- 목록 1페이지만 보지 말고 마지막 페이지까지 넘겨 가며 수집할 것
- 공개된 연락처만 수집하고, 이메일이 없는 줄은 건너뛸 것
- 홈페이지 주소가 같으면 중복으로 보고 하나만 남길 것
- 결과는 leads.csv에 이어쓰기로 저장하고, 파일이 없으면 새로 만들 것
- 새로 몇 줄을 넣었고 중복으로 몇 줄을 건너뛰었는지 화면에 출력할 것

설정은 로컬 Ollama 모델을 쓰게 해서 실행 비용이 들지 않게 해 줘.

성공하면 클로드가 스크립트를 만들어 실행하고, 마지막에 몇 줄을 넣었는지 숫자로 알려 줍니다.

만든 걸 다시 쓰려면 이어서 아래 한 줄을 입력하세요.

이걸 daily_leads.py라는 이름으로 저장해서 다음에 다시 만들지 않고 바로 돌릴 수 있게 해 줘.

성공하면 폴더에 daily_leads.py 파일이 생깁니다.

자주 하는 실수와 올바른 방법

STEP 6. 매일 아침 자동 실행: 7분

이 단계에서는 만든 스크립트가 스스로 돌게 만듭니다. 한 번 걸어 두면 아침에 노트북을 열기 전에 새 연락처가 표에 쌓여 있습니다.

클로드 코드에 아래 한 줄을 입력하세요.

daily_leads.py를 매일 아침 8시에 실행해서 leads.csv에 이어쓰고,
실패하면 errors.log에 기록하도록 예약을 걸어 줘.

맥이나 리눅스에서는 아래 한 줄이 예약표에 등록됩니다. 직접 넣고 싶으면 터미널에서 crontab -e를 실행한 뒤 붙여넣으세요.

0 8 * * * cd ~/lead-scraper && ./venv/bin/python daily_leads.py >> run.log 2>&1

앞의 0 8이 아침 8시라는 뜻입니다. 등록됐는지는 crontab -l로 확인하고, 목록에 이 줄이 보이면 성공입니다.

다른 업종을 넣고 싶으면 대상 주소만 바꿔서 다시 돌리면 됩니다. 점심때쯤 새 목록이 하나 더 생깁니다.

STEP 7. 결과 확인: 5분

이 단계에서는 표 파일이 제대로 쌓였는지 눈으로 확인합니다. 여기까지 되면 세팅은 끝입니다.

만들어진 파일을 확인하는 명령어입니다.

head -5 leads.csv

맨 윗줄에 항목 이름이 있고 그 아래로 업체 정보가 쉼표로 구분돼 나오면 성공입니다. 이 파일은 엑셀과 구글 시트에서 바로 열립니다.

실행이 끝나면 이런 표가 남습니다

어디에 쓰면 되나

업종별 협회 회원사 목록과 산업 디렉터리
지역과 업종으로 나뉜 지역 업체 목록
박람회 참가사와 발표자 페이지
오픈마켓이나 대행사의 제휴사 목록
채용 공고, 내가 파는 문제로 사람을 뽑고 있는 회사를 찾을 때

막혔을 때

결과가 계속 빈 값으로 나옵니다. 글자가 나중에 그려지는 페이지입니다. playwright install이 실제로 끝났는지 다시 확인하세요.

502 오류가 납니다. ollama serve 창이 꺼졌거나 설정에서 base_url 줄이 빠진 경우입니다.

model not found가 나옵니다. ollama list에 나오는 이름과 설정의 모델 이름이 정확히 같아야 합니다. 먼저 ollama pull로 내려받으세요.

정리가 뒤죽박죽인 페이지에서 값이 엉성하게 나옵니다. model_tokens 값을 올리거나, 그 페이지만 큰 클라우드 모델로 돌리고 나머지는 무료 모델로 두세요.

설치할 때 다른 프로그램과 충돌한다고 나옵니다. 가상환경 밖에서 설치한 경우입니다. STEP 1로 돌아가 (venv)가 붙은 상태에서 다시 설치하세요.

지켜야 할 선

공개된 연락처만 모으세요. 각 사이트의 이용약관과 robots.txt를 지키고, 한 번에 몰아치지 말고 요청 속도를 낮추세요. 메일을 보내기 시작하면 수신 거부 요청은 바로 반영해야 합니다. 도구는 순식간에 커지지만 내 발신 평판은 그렇지 않습니다.

공식 자료

공식 사이트: scrapegraphai.com
공식 GitHub 저장소: ScrapeGraphAI/Scrapegraph-ai
공식 문서: docs.scrapegraphai.com
파이썬 패키지: pypi.org/project/scrapegraphai
터미널 명령어 도구: ScrapeGraphAI/just-scrape
무료 로컬 모델 실행기: ollama.com

이 자료가 도움됐다면

이런 AI 활용 자료를 인스타그램에 계속 올리고 있습니다.

: 다음 자료를 가장 먼저 받아볼 수 있습니다
따라 하다 막힌 부분은 릴스 댓글로 남겨주세요. 다음 자료를 만들 때 참고합니다