Reddit 최종 결정 반영(2026-07-29) · 코드 반영 전

1a. 플랫폼 개념 글로서리

Reddit을 이해하는 데 필요한 최소 도메인 개념. URL 패턴이나 필드 설명에서 이 용어들을 그대로 참조한다.

1b. URL 패턴

postId·shareId 둘 다 "포스트"를 가리키지만 shareId는 postId와 무관한 별도 토큰이라 리다이렉트 없이는 실제 포스트를 알 수 없다 — §1a "Share link" 참고.

2. sourceType / sourceKey 확정 👤 판단 반영

router 리뷰(대화)에서 합의한 4-way 분리 + redd.it 반영. 설계문서(social-fetcher-implementation-plan.html) 원안은 sub/postId였는데 구현이 subreddit-only로 축소돼 있었음.

3. Fetch 테스트 + 에러 원인

3.1 실측 (curl, RedditFetcher와 동일 엔드포인트/헤더)

GET https://www.reddit.com/r/smallstreetbets/about.json  (UA: social-fetcher/1.0)
→ HTTP 403, content-type: text/html   (JSON 아님 — 차단 페이지)

GET https://www.reddit.com/user/ElegantCombination43/about.json  (UA: social-fetcher/1.0)
→ HTTP 403, content-type: text/html

GET https://www.reddit.com/r/smallstreetbets/about.json  (UA: 브라우저 Chrome UA로 교체)
→ HTTP 403, content-type: text/html   (UA 문제 아님을 확인)

GET https://old.reddit.com/r/smallstreetbets/about.json  (UA: 브라우저)
→ HTTP 403, content-type: text/html   (old.reddit.com도 동일 차단)

GET https://redd.it/eorhm
→ HTTP 301 → https://www.reddit.com/comments/eorhm   (리다이렉트 자체는 차단 안 됨)

GET https://www.reddit.com/r/TheMatpatEffect/s/RT8o3wyoRD
→ HTTP 301 → .../comments/1u3vkxd/the_original_hopium_needle_guy_image/?share_id=...   (리다이렉트 정상)

GET https://www.reddit.com/r/TheMatpatEffect/s/RT8o3wyoRD.json
→ HTTP 307 → https://www.reddit.com/r/TheMatpatEffect/   (post 데이터 없이 subreddit root로 튕김 — .json 트릭이 공유링크엔 안 먹음)

3.2 원인 분석

• redirect(301/307)는 차단되지 않음 — 실제 데이터 본문을 반환하는 요청만 막히고, 헤더만 오가는 redirect resolve는 통과됨. 즉 reddit_share의 postId 확보(§2)는 가능하지만, 확보한 postId로 다시 .json을 요청하면 위와 동일하게 막힐 가능성이 높음(post permalink .json은 별도 실측 필요).
• data: null로 저장돼 있어 지금까지는 원인 불명이었음 — RedditFetcher가 catch한 에러를 로그(logger.warn)에만 남기고 SocialFetchResult.data엔 아무것도 안 남기기 때문에, source-data 스냅샷만 봐서는 403인지 timeout인지 파싱 실패인지 구분이 안 됐음. 이번 실측으로 원인이 확정됨.

3.3 해결 옵션 (결정 필요, 이번 audit에서 바로 고르지 않음)

2026-07-17 결정: A(공식 API 승인)는 대기시간이 불확실해서 D(Apify)로 진행. 1차로 시도한 actor(trudax~reddit-scraper-lite)는 subreddit/user에서 반복 실패해 harshmaur~reddit-scraper로 교체, 4개 타입 전부 실측 성공(§3.5). A는 병행 신청 후보로 남겨둠(§3.4).

3.4 공식 API 신청 흐름 (Responsible Builder Policy 이후)

체크할 것: 회사 내에(다른 팀 포함) 2025년 말 이전에 등록된 Reddit API credential이 이미 있는지 — 있다면 grandfathering으로 바로 쓸 수 있어 승인 절차를 건너뛸 가능성.

3.5 Apify 실측 테스트 결과

1차로 시도한 trudax~reddit-scraper-lite는 post/share만 되고 subreddit/user가 반복 실패해서(아래 3.5.1), 2차로 harshmaur~reddit-scraper를 테스트한 결과 4개 타입 전부 커버 가능함을 확인했다(3.5.2). 최종 채택은 harshmaur.

3.5.1 1차 시도 — trudax~reddit-scraper-lite (post/share만 성공)

3.5.2 2차 시도 — harshmaur~reddit-scraper (채택)

30일 통계 SUCCEEDED 143,805 / TOTAL 149,079 ≈ 96.5%(trudax 68%보다 훨씬 안정적), 4.9★/17리뷰, 오늘(2026-07-17) 빌드 갱신. 가격은 PAY_PER_EVENT — actor 시작 $0.02 + 저장된 결과 1건당 $0.002(공식 API로 직접 확인, 확신도 높음). 결과 1건짜리 단건 조회 기준 건당 약 $0.022.

// Subreddit 실측 응답 (community, 2026-07-17)
{
  "name": "wallstreetbets", "title": "wallstreetbets",
  "publicDescription": "Like 4chan found a Bloomberg Terminal.",
  "membersCount": 20159454,
  "createdAt": "2012-01-31T21:26:07.000Z",
  "nsfw": false, "dataType": "community"
}

// Post 실측 응답 (share 링크 resolve 후 동일 경로로 조회, 2026-07-17)
{
  "parsedId": "1u3vkxd", "title": "The Original \"Hopium\" Needle Guy Image",
  "authorName": "Rytheredditguy", "createdAt": "2026-06-12T13:39:54.000Z",
  "parsedCommunityName": "TheMatpatEffect", "dataType": "post"
}

// User 실측 응답 (user_profile, 2026-07-17)
{
  "username": "hell0k1ttycum", "totalKarma": 3790,
  "linkKarma": 2280, "commentKarma": 1510, "verified": true,
  "createdAt": "2023-03-13T08:58:18.000Z", "dataType": "user_profile"
}

4. 객체별 필드 통합 (변동성 · 파싱상태 · 트레이딩 유용성) 👤 판단 반영

Creator/Content 객체별로 필드를 한 표에 통합. 값 변동성 = 값이 시간에 따라 변하나(immutable 역사적 사실 / mutable 드리프트 / derivable 계산값) → look-ahead 안전성이 여기서 도출(immutable=safe · mutable=conditional/as-of · derivable=unsafe). 파싱 상태 = 현재 파이프라인이 실제로 저장하나.

4.1 · Venue (subreddit) — reddit (subreddit)

4.2 · Content (post) — reddit_post (post)

4.3 · Creator (user) — reddit_user (user)

4-부록. raw 스키마 (ground truth)

위 통합표의 원천 — Apify 응답 원문 + 레거시 about.json. 필드 전체 목록은 여기서 확인.

4.1 (구) about.json 스키마 레거시 — Apify로 대체 예정

비인증 about.json(§3.1~3.3, 100% 403) 기준으로 작성했던 원래 필드 정리. RedditFetcher가 Apify로 교체되면 이 스키마 자체가 안 쓰인다 — 과거 판단 기록으로만 남겨둠.

4.2 Apify(harshmaur~reddit-scraper) 응답 스키마 레퍼런스 raw — keep/drop 판단 전

§3.5 실측에서 실제로 받은 응답 원문 기준, dataType별 전체 필드. 유용성 판단(어떤 필드를 실제로 저장할지)은 다음 단계 — 여기는 스키마 그 자체만.

4.2.1 dataType: "community" (subreddit)

4.2.2 dataType: "post"

2개 actor에서 관측된 필드를 합침 — trudax는 id/parsedId/url/username/title/communityName/parsedCommunityName/body/html/createdAt/scrapedAt/dataType 정도만 주고, harshmaur가 아래처럼 훨씬 풍부하게 준다(채택은 harshmaur).

4.2.3 dataType: "user_profile"

참고: user URL을 조회하면 maxCommentsCount를 0으로 안 주면 dataType: "comment"(그 유저가 단 최근 댓글들)가 같이 딸려온다 — §3.5에서 maxPostsCount: 0 + maxCommentsCount: 0으로 억제한 이유. comment 아이템 자체 스키마는 이번 audit 범위 밖(우리는 항상 억제해서 안 받을 예정)이라 여기 정리 안 함.

다음 액션 (결정 필요)

• 1. sourceType 4-way 분리 — §2의 reddit_post/reddit_share/reddit_user 신설 + redd.it 커버리지를 라우터 코드에 반영할지, 별도 태스크로 분리할지
• 2. Fetch 전환 구현 — RedditFetcher를 비인증 about.json 대신 Apify(harshmaur~reddit-scraper)로 교체. §3.5 실측상 subreddit/post/user 전부 가능, share만 우리 쪽 redirect resolve 스텝 추가 필요. §2의 4-way sourceType 분리(1번 액션)와 함께 진행하는 게 자연스러움 — 이 시점에 RedditAbout 인터페이스도 4개 dataType(community/post/user_profile)에 맞게 재설계. OAuth(§3.4)는 굳이 급하지 않음(Apify로 충분히 해결됨) — 비용 절감 옵션으로만 병행 검토
• 3. 필드 keep/drop 판단 — §4.2는 아직 raw 스키마 나열뿐, 어떤 필드를 실제로 저장할지(예: ageHours류 파생지표는 그대로 저장하면 look-ahead 위험, removedByCategory는 스캠 신호로 유용할 수 있음) 판단이 안 됨 — 다음 대화에서 진행. 확정되면 valueNature 매핑도 같이 정의
• 4. 데이터 보존 정책 확인 — §3.4에서 언급된 "48시간 삭제 요구"가 사실이면, 지금 social.jsonl/DB에 reddit 데이터를 영구 저장하는 현재 방식이 Reddit ToS와 충돌할 수 있음(확신도 낮음이라 별도 확인 필요) — Apify 스크레이핑도 이 정책 적용 대상인지 포함해서 법무/컴플라이언스 확인 대상