HTML 파서

최대 20개의 중첩만 허용하고 나머지는 무시한다.

bool HTMLParser::allowNestedRedundantTag(const AtomicString& tagName) 
{
  
    unsigned i = 0;
    for (HTMLStackElem* curr = m_blockStack;
        i < cMaxRedundantTagDepth && curr && curr->tagName == tagName; 
        curr = curr->next, i++) { }
    return i != cMaxRedundantTagDepth;
}

잘 못 닫힌 html 또는 body 태그

깨진 html 을 지원한다. 일부 바보 같은 페이지는 문서가 끝나기 전에 body 를 닫아버리기 때문에 브라우저는 body 태그를 닫지 않는다. 대신 종료를 위해 end() 를 호출한다.

if (t->tagName == htmlTag || t->tagName == bodyTag ) 
   return;

• 안 닫힌 태그, 안 닫힌 따옴표 등에 대해 블링크나 웹킷은 어떻게 처리하고 있는지 알아볼 것

unexpected-character-in-unquoted-attribute-value
This error occurs if the parser encounters a U+0022 ("), U+0027 ('), U+003C (<), U+003D (=), or U+0060 (`) code point in an unquoted attribute value.
The parser includes such code points in the attribute value.
Code points that trigger this error are usually a part of another syntactic construct and can be a sign of a typo around the attribute value.
U+0060 (`) is in the list of code points that trigger this error because certain legacy user agents treat it as a quote.
For example, consider the following markup:
<div foo=b'ar'>
Due to a misplaced U+0027 (') code point the parser sets the value of the "foo" attribute to "b'ar'".

• encoding 을 어떻게 할 것인가...

• 태그의 의미를 존중하는 html 필터 만들기 - streaming 방식...

• 태그 사이에 나오는 텍스트 필터링 되지 않도록 수정
• html 주석도 처리해야 한다
  * 확인하여 내용 누락 할 수 있도록 구성
• tag 와 함께 나오는 attribute 도 처리해야 한다
  * chromiun 의 경우 자주 쓰이는 tag 들에 대해서 별도로 tokenizer 를 하고 있다.

// This is a direct transcription of step 4 from:
// http://www.whatwg.org/specs/web-apps/current-work/multipage/the-end.html#fragment-case
 
static HTMLTokenizer::State tokenizerStateForContextElement(Element* contextElement, bool reportErrors, const HTMLParserOptions& options)
 
{
 
    if (!contextElement)
 
        return HTMLTokenizer::DataState;
 
 
    const QualifiedName& contextTag = contextElement->tagQName();
 
 
    if (contextTag.matches(titleTag) || contextTag.matches(textareaTag))
 
        return HTMLTokenizer::RCDATAState;
 
    if (contextTag.matches(styleTag)
 
        || contextTag.matches(xmpTag)
 
        || contextTag.matches(iframeTag)
 
        || (contextTag.matches(noembedTag) && options.pluginsEnabled)
 
        || (contextTag.matches(noscriptTag) && options.scriptEnabled)
 
        || contextTag.matches(noframesTag))
 
        return reportErrors ? HTMLTokenizer::RAWTEXTState : HTMLTokenizer::PLAINTEXTState;
 
    if (contextTag.matches(scriptTag))
 
        return reportErrors ? HTMLTokenizer::ScriptDataState : HTMLTokenizer::PLAINTEXTState;
 
    if (contextTag.matches(plaintextTag))
 
        return HTMLTokenizer::PLAINTEXTState;
 
    return HTMLTokenizer::DataState;
 
}

• https://github.com/waylan/beautifulsoup/blob/master/bs4/builder/_htmlparser.py - beautiful soup 코드를 참고한다.
• 크로미움이나 c++ 소스는 너무 어렵당...
  처음 가정은 attribute 내용은 꺽쇠를 만날 때 까지 모두 skip 을 할 생각이었다.
  하지만 문서 중 아래와 같은 문서가 있어 위의 방법은 쓸 수가 없었다.

  <input class="download_button" onClick="javascript:urchinTracker('/downloads/314375');" type="submit" name="download" value="--> Stáhnout soubor <--" >

• beautiful soup 의 경우 정규식을 쓰고있는데 우리는 정규식을 쓸 수가 없으므로 코드로 beautiful soup 이 하는 일을 흉내내본다.

1. 여는 꺽쇠 '<' 부터 시작
2. tag name
3. tag name 다음에 white space 가 나오면 attribute 앞의 white space 로 간주
4. white space 다음에 나오는 글자는 attribute 이름
5. '=' 가 나온다
6. '=' 다음은 '' 이거나 "" 이다.
7. 또 white space 가 있는지 검사한다.
8. 없다면 '/' 가 있는지 확인하고 tag 파싱을 종료한다

• 짝이 안맞는 태그 처리
  짝이 안맞는 태그의 경우 tag 를 저장하고 있는 stack 을 뒤져 맞는 태그를 발견하는 경우 해당 위치 까지 있는 stack 의 태그를 모두 지운다.
  지워진 태그로인해 짝이 안맞게 되는 경우 닫는 태그 형태를 하고 있으면 해당 태그는 skip 한다
• 
  
  태그 처리
  *
  의 경우
  or
  이렇게 태그가 입력 될 수 도 있다는 점을 고려한다.
• html 개행
  * '\n' 을 만나는 경우 중복은 개행은 하나의 공백으로 처리한다.