LLM 소셜 정보 수치화 — 방법론 draft

0. 30초 요약 — 우리가 내리는 결정

1. 토큰 1개를 끝까지 따라가기 (가장 중요한 그림)

추상 설명 대신 실제 데이터 한 줄이 파이프라인을 통과하는 모습. 토큰 2SoWK7… (실제 jsonl 첫 행):

2. 왜 "LLM 점수" 금지, "범주" 허용인가

원칙 출처: time-series-llm-textualization.md §1 — "분석 레이어는 새 임계를 발명하지 않는다. LLM은 잘 명명된 범주만, 수치/임계는 결정적 코드가." 그걸 소셜에 그대로 적용한 것.

3. 3층 분해 — 필드별로 누가 처리하나

target-social.jsonl의 실제 필드를 "LLM이 필요한가"로 가른다. 대부분은 LLM이 아니라 코드의 일.

4. contentType 5종 — 실제 트윗으로 (사람이 경계를 판단)

이게 LLM 출력의 핵심. 범주가 잘 나뉘는지는 실제 사례로 직접 봐야 판단 가능. 각 범주에 jsonl 실제 트윗 1개씩:

dev_self_promo — 무명 dev가 토큰 띄우려 직접 올림

신호: 작은 신규계정 + "coin/launch" 자가언급. L1 스칼라(팔로워·나이)가 보조하지만 "홍보 의도"의 판정은 텍스트 의미 → LLM.

external_viral — 토큰과 무관하게 원래 큰 계정의 유기적 컨텐츠

큰 실계정의 진짜 컨텐츠 — 토큰 측이 여기 올라탄 것. L1만으론 dev_self_promo와 안 갈림(둘 다 "트윗"). 구분점 = 컨텐츠가 토큰 홍보냐 독립 화제냐 = 의미판단.

news_capture — 뉴스/언론 컨텐츠 캡처

L2의 isNews·뉴스도메인이 1차 신호지만, 트위터발 뉴스 캡처는 텍스트로만 잡힘.

ai_bot_reply — AI/봇이 생성한 답글·자동홍보

hijacked_unrelated — 무관한 유명인 트윗을 토큰이 도용

대형계정이지만 컨텐츠가 토큰과 전혀 무관 → 컨텐츠 하이재킹. §5.3 어휘매칭 소유권 메커니즘의 컨텐츠 일반화. 이 범주가 loss 스크린의 핵심 타깃.

5. 관련성(이진) + ⚠️ 이 파일의 ticker 결손

관련성 = "이 컨텐츠가 이 토큰의 티커/이름과 실제 관련 있나" (이진). external_viral(좋을 수도) vs hijacked(나쁨)를 가르는 결정타.

6. 수치화 = base-rate 인덱스 (LLM 아니라 코드)

LLM이 범주를 붙이면, "수치"는 그 범주의 과거 승률이다. 단일 주관점수가 아니라 경험분포.

// §11 이미지호스트 운용법과 동일: 고정 리스트 X, 트레일링 승률 인덱스
signal(category) = trailing_win_rate(category)
                   + min_sample 가드(표본 부족 시 중립값)

예시 표 (숫자는 형식 설명용 가상값 — 실측 아님):

이렇게 하면 ① 단일 점수의 과적합 회피 ② OOS에서 임계 sweep 가능 ③ 표본 적은 범주는 중립 처리(§11 운용 원칙). 신호의 정당성이 LLM 주관이 아니라 base-rate 측정에 있음.

7. ⚠️ 이 파일로 할 수 있는 것 / 없는 것

그래서: 진짜 신호화는 라이브 watching 진입 시점에 text+engagement 스냅샷 저장(social_fetcher_plan)을 먼저 깔고 2~4주 쌓은 뒤. 이 문서 산출물 = 그 라이브 라벨링이 따를 스펙·골든셋·검증틀.

8. 검증 9단계 — 기존 머신에 연결 (새 틀 안 만듦)

9. LLM 출력 스키마 (StructuredOutput) — 점수 필드 없음

// 토큰·소스당 1행. LLM은 이 구조만 채운다
{
  "tokenAddress": string,
  "source": "x_tweet" | "x_profile" | "website_meta",
  "relevance": {
    "matchesToken": boolean,     // 티커/이름과 관련? (tokens 조인 필요 §5)
    "evidenceSpan": string       // 판단 근거 원문 조각
  },
  "contentType": "dev_self_promo" | "external_viral" | "news_capture"
                 | "ai_bot_reply" | "hijacked_unrelated",
  "confidence": "high" | "low"   // 연속점수 아님 — 2단 플래그
}

신호 수치는 이 출력에 없다. 코드가 범주별 trailing winRate를 인덱스로 산출(§6)·검증(§8)한 뒤에만 신호가 된다.

10. 미결 결정 + 다음 단계

다음 단계

1. 합의: O1~O5 확정 → enum/스키마 동결
2. 탐색(이 파일): 결손 41 제외 편향을 명시한 채 157토큰 시범 라벨 → 골든셋 + 범주별 base rate 1차 측정 (신호 확정 아님, 방법 검증)
3. 라이브 인프라: social_fetcher_plan에 진입시점 text+engagement 저장 + LLM 라우팅 추가
4. 검증: 2~4주 축적 후 §8 9단계 → ledger 등재

연계: docs/drafts/social-content-source-loss-filter.html(§9·§10 흡수·승격) · docs/research/time-series-llm-textualization.md(extractor 원칙) · validation-playbook · metric-ledger.