AI Self study #3

1. 샌드박스

🔒 Sandbox란?

Sandbox(샌드박스) 는 보안이나 실험 목적의 격리된 실행 환경.
쉽게 말해 “이 안에서는 무슨 짓을 해도 바깥 시스템에는 영향을 못 주는 통제된 공간"

Ex):
• 브라우저가 악성 웹코드를 실행할 때 시스템 파일에 접근하지 못하도록 막는 구조
• LLM이 외부 파일을 수정하거나 인터넷 요청을 보내지 못하도록 제한된 실행 환경
• 개발자가 코드를 테스트할 때 OS 전체가 아닌 가상 환경에서만 돌리는 구조

2. gemini cli option

1) --telemetry

CLI 도구가 사용 통계나 오류 정보를 개발사(예: Google) 로 자동 전송하는 기능

2) -- proxy

내가 직접 외부에 연결하지 않고, 대신 프록시 서버를 통해 요청을 보내는 옵션, 말그대로 프록시를 지정하는 옵션

• 내부망(회사, 연구소 등)에서 직접 인터넷 연결이 제한되어 있을 때 프록시를 통해 우회 접속
• 관리자가 외부 접속을 모니터링하거나, 특정 도메인만 허용하도록 제어

gemini --proxy=http://user:password@proxy.example.com:8080

3) --model

• 모델 지정해서 실행

gemini run -m gemini-2.5-pro "Summarize this text."

4) -p

표준 입력(stdin) 으로 들어오는 텍스트가 있을 때,
그 뒤에 이어 붙일(prompt append) 추가 프롬프트를 지정하는 기능

3. 파이썬 문법

• 헷갈릴수 있다. 튜블안에 , 없이 문자열만 들어 있으면 문자열로 인식한다.
• 콤마가 있어야 튜플이다.

4. 웹페이지 스크래핑 하는 loader

loader = WebBaseLoader(
    web_paths=[
        "https://n.news.naver.com/article/437/0000378416",
        "https://n.news.naver.com/mnews/hotissue/article/092/0002340014?type=series&cid=2000063",
    ],
    bs_kwargs=dict(
        parse_only=bs4.SoupStrainer(
            "div",
            attrs={"class": ["newsct_article _article_body", "media_end_head_title"]},
        )
    ),
    header_template={
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36",
    },
)

# 데이터 로드
docs = loader.load()

# 문서 수 확인
print(len(docs))
docc = [ doc.page_content for i, doc in enumerate(docs)]
print(f"doc1 : {docc[0]}\n\n")
print(f"doc2 : {docc[1]}")

• 내부적으로 bs4 이용
• 여러 웹페이지를 한꺼번에 스크래핑 가능함 (배열로)
• 다만 이경우 서버 부하때문에 크롤링에 제한이 있을수 있으므로, 초당 요청을 다음과 같이 제한한다.

import nest_asyncio ( jupyter 전용, 일반 py -> asyncio 이용)

nest_asyncio.apply()

loader.requests_per_second = 1

# 비동기 로드
docs = loader.aload()

• 위와 같이 해도 짧은 시간에 지속적 요청으로 IP 차단 당할수 있음. 이경우 IP를 우회하기 위해 때때로 프록시를 사용할 필요가 있다.

loader = WebBaseLoader(
    "https://www.google.com/search?q=parrots",
    proxies={
        "http": "http://{username}:{password}:@proxy.service.com:6666/",
        "https": "https://{username}:{password}:@proxy.service.com:6666/",
    },
    # 웹 기반 로더 초기화
    # 프록시 설정
)

# 문서 로드
docs = loader.load()

5. conda install -c conda-forge

• 기본적으로 defaults 채널(=Anaconda 공식 저장소)을 사용하지만, 더 다양한 최신 패키지를 위해 conda-forge 채널이 자주 사용됨
• conda-forge : 커뮤니티가 관리하는 대형 저장소. 최신 버전 빠르게 제공, 오픈소스 중심

6. 벡터DB 캐싱

from langchain.storage import LocalFileStore
from langchain_openai import OpenAIEmbeddings
from langchain.embeddings import CacheBackedEmbeddings

embeddings = OpenAIEmbeddings()
store = LocalFileStore("./cache/")

cached_embedder = CacheBackedEmbeddings.from_bytes_store(
    underlying_embeddings= embeddings,
    document_embedding_cache=store,
    namespace= embeddings.model,
)

list(store.yield_keys())

7. warnings

8. init.py

9. uvicorn

• vicorn은 FastAPI 앱을 실제로 실행해주는 ASGI(Asynchronous Server Gateway Interface) 서버
• 즉, FastAPI는 웹 프레임워크일 뿐이고, 직접 요청을 처리하는 웹 서버는 아닙니다. 그 역할을 해주는 게 uvicorn