인공지능Firecrawl + Atako
AI 에이전트가 Firecrawl을 통해 웹에서 데이터를 스크래핑, 매핑 및 추출합니다.
Firecrawl에서 에이전트가 하는 일
Firecrawl에 연결된 에이전트는 조회만 하는 것이 아니라 직접 작업을 수행합니다.
페이지 스크래핑
에이전트가 웹 페이지의 콘텐츠를 마크다운, HTML 또는 링크로 가져옵니다.
- 페이지를 스크래핑하여 마크다운으로 콘텐츠 가져오기
- 페이지의 모든 링크 가져오기
- 페이지의 HTML 콘텐츠 가져오기
사이트 매핑
에이전트가 웹사이트를 매핑하고 탐지 가능한 모든 URL을 나열합니다.
- 홈페이지부터 시작하여 사이트 매핑
- 키워드별로 URL 필터링
- 서브도메인 포함 또는 제외
웹 검색
에이전트가 웹에서 검색하고 관련 결과의 콘텐츠를 가져옵니다.
- 특정 주제에 대한 정보 검색
- 도메인별로 결과 필터링
- 검색을 국가 또는 지역으로 제한
크롤링 관리
에이전트가 여러 페이지의 크롤링을 시작, 모니터링 및 취소합니다. 크레딧 소비를 관리하기 위해 크롤링당 최대 100페이지로 제한됩니다.
- 최대 100페이지 크롤링 시작
- 진행 중인 크롤링 진행 상황 확인
- 완료 전에 크롤링 취소
구조화된 추출
에이전트가 정의된 스키마에 따라 언어 모델을 사용하여 웹 페이지에서 구조화된 데이터를 추출합니다.
- 사용자 지정 JSON 스키마에 따라 정보 추출
- 단일 요청으로 여러 페이지에서 데이터 추출
- 보완적인 웹 검색으로 결과 풍부하게 하기
사용량 모니터링
에이전트가 남은 크레딧 잔액과 Firecrawl 팀의 결제 기간을 확인합니다.
- 사용 가능한 크레딧 수 확인
- 현재 결제 기간 보기
작동 방식
완전히 사용자가 통제하는 안전한 연결입니다.
원클릭 연결
Firecrawl API 키를 붙여넣으면 1분 안에 연결이 활성화됩니다.
에이전트별 권한
읽기, 쓰기 또는 둘 다: 각 에이전트는 필요한 만큼의 접근 권한만 받습니다.
암호화된 자격 증명
자격 증명은 암호화되며 에이전트에게 절대 노출되지 않습니다.
전체 감사 기록
Firecrawl에 대한 모든 호출이 기록되고 검토 가능합니다.
실제 활용 시나리오
일상 업무에서 달라지는 것.
경쟁 정보
에이전트가 업계 뉴스를 검색하고 경쟁사의 제품 페이지를 스크래핑하여 가격과 기능을 추출합니다.
제품 데이터 수집
에이전트가 이커머스 카탈로그를 매핑한 후 각 제품 페이지의 가격과 설명을 추출합니다.
사이트 구조 감사
에이전트가 사이트를 매핑하여 모든 페이지를 나열한 후 문제가 있는 페이지를 스크래핑하여 콘텐츠를 확인합니다.
지식 베이스 구축
에이전트가 신뢰할 수 있는 웹 소스를 스크래핑하고 내부 지식 베이스를 구축하기 위한 핵심 정보를 추출합니다.
자주 묻는 질문
에이전트가 Firecrawl에 어떻게 연결되나요?
Firecrawl API 키(fc-로 시작)를 통해 연결됩니다. 연결은 Atako 통합 설정에서 한 번만 설정됩니다.
Firecrawl API 키가 안전한가요?
네. API 키는 암호화되어 에이전트에 공개되지 않습니다. 안전한 접근 계층을 통해 작동하며, 자격 증명을 보거나 조작하지 않습니다.
각 에이전트가 할 수 있는 일을 제한할 수 있나요?
네, 읽기 및 쓰기 권한은 에이전트별로 구성할 수 있습니다. 스크래핑과 검색만 가능하거나, 크롤링 시작 또는 구조화된 데이터 추출만 가능하도록 세밀하게 제어할 수 있습니다.
에이전트가 Firecrawl에서 실제로 할 수 있는 것은 무엇인가요?
웹 페이지를 마크다운 또는 HTML로 스크래핑하고, 사이트를 매핑하여 URL을 나열하고, 웹에서 검색하고, 여러 페이지의 크롤링을 시작 및 관리하고(최대 100페이지), 언어 모델을 사용하여 구조화된 데이터를 추출하고, 크레딧 잔액을 확인합니다. 부여된 권한에 따라 다릅니다.
언제든지 접근을 취소할 수 있나요?
네, 통합 설정에서 한 번의 클릭으로 취소할 수 있습니다. 에이전트는 즉시 Firecrawl에 대한 모든 접근을 잃으며, Firecrawl 측의 작업은 필요하지 않습니다.
어떤 Firecrawl 데이터가 지원되나요?
웹 페이지 스크래핑(마크다운, HTML, 링크), 사이트 매핑, 웹 검색, 여러 페이지 크롤링 및 구조화된 추출. 크레딧 청구는 Firecrawl에서 계정을 관리합니다: 각 작업은 작업 유형에 따라 하나 이상의 크레딧을 소비합니다. Firecrawl API 키와 계정 설정은 에이전트에 공개되지 않습니다.
Firecrawl을(를) AI 에이전트에 연결하세요
14일 무료 체험, 신용카드 필요 없음.