FineJin

자연 언어 처리(NLP)를 위한 종래의 방법을 넘은 성능을 발휘한다. BERT는 자연언어 처리 태스크를 교사 없이 양방향으로 사전학습하는 첫 시스템이다.

www.aitimes.kr/news/articleView.html?idxno=13117

지난해 11월, 구글이 공개한 인공지능(AI) 언어모델 ‘BERT(이하 버트, Bidirectional Encoder Representations from Transformers)’는 일부 성능 평가에서 인간보다 더 높은 정확도를 보이며 2018년 말 현재, 자연 언어 처리(NLP) AI의 최첨단 딥러닝 모델이다.

또한 BERT는 언어표현 사전학습의 새로운 방법으로 그 의미는 '큰 텍스트 코퍼스(Wikipedia와 같은)'를 이용하여 범용목적의 '언어 이해'(language understanding)' 모델을 훈련시키는 것과 그 모델에 관심 있는 실제의 자연 언어 처리 태스크(질문·응답 등)에 적용하는 것이다.

특히 BERT는 종래보다 우수한 성능을 발휘한다. BERT는 자연언어 처리 태스크를 교육 없이 양방향으로 사전학습하는 첫 시스템이기 때문이다. 교육 없음이란 BERT가 보통의 텍스트 코퍼스만을 이용해 훈련되고 있다는 것을 의미한다. 이것은 웹(Web) 상에서 막대한 양의 보통 텍스트 데이터가 여러 언어로 이용 가능하기 때문에 중요한 특징으로 꼽는다.

사전학습을 마친 특징 표현은 문맥에 '의존하는 방법'와 '의존하지 않는 방법'의 어느 방법도 있을 수 있다. 또 문맥에 의존하는 특징적인 표현은 단방향인 경우와 혹은 양방향일 경우가 있다. word2vec나 GloVe와 같이 문맥에 의존하지 않는 모델에서는, 어휘에 포함되는 각 단어마다 '단어 삽입(word embedding)'이라는 특징 표현을 생성한다. 따라서, 'bank'라는 단어는 'bank deposit' 또는 'river bank'과 같은 특징으로 표현되며, 문맥에 의존하는 모델에서는 문장에 포함되는 다른 단어를 바탕으로 각 단어의 특징을 표현 생성한다.
BERT는 양방향이며 OpenAI GPT는 단방향이며 ELMo는 양방향이다(논문 캡처)
BERT는 양방향이며 OpenAI GPT는 단방향이며 ELMo는 양방향이다(논문 캡처)

BERT는 문맥에 의존하는 특징적인 표현의 전학습을 실시하는 대응을 바탕으로 구축되었다. 그러한 대응은 Semi-supervised Sequence Learning, Generative Pre-Training, ELMo, 및 ULMFit를 포함하며, 대응에 의한 모델은 모두 단방향 혹은 얕은 양방향이다. 각 단어는 단지 그 왼쪽(혹은 오른쪽)에 존재하는 단어에 의해서만 문맥의 고려가 되는 것을 의미한다.

예를 들어, I made a bank deposit라는 문장은 bank의 단방향 특징표현은 단지 I made a만에 의해 결정되며, deposit은 고려되지 않는다. 몇개의 이전의 대응에서는 분리한 좌문맥모델과 우문맥모델에 의한 특징표현을 조합하고 있었지만, 이것은 얕은 양방향 방법이다. BERT는 bank를 왼쪽과 오른쪽 양쪽의 문맥 I made a ... deposit을 딥 뉴럴 네트워크(Deposit)의 최하층에서 이용해 특징을 표현하기 때문에 BERT는 '딥 양방향(deeply bidirectional)'이다.

BERT는 간단한 접근법을 사용한다. 입력에서 단어의 15%를 숨기고 딥 양방향 Transformer encoder(관련 논문다운)를 통해 전체 시퀀스를 실행한 다음 마스크 된 단어만 예측한다. 예를 들어, 아래와 같이 문간의 관계를 학습하기 위해서는 임의의 단언어 코퍼스에서 생성 가능한 심플한 작업을 이용하여 학습한다. A와 B의 두 개의 글을 받았을 때 B가 A의 뒤에 오는 실제 문장인지, 코퍼스 안의 랜덤한 글인지를 판정하는 태스크이다.

또한 큰 모델(12층에서 24층의 Transformer)을 큰 코퍼스(Wikipedia + BookCorpus)로 긴 시간을 들여(100만 갱신 스텝) 훈련했다. 그것이 BERT이며, 이용은 '사전학습'과 '전이학습'의 2단계로 구분된다.

사전학습(pre-training)은 상당히 고가로 4에서 16개의 Cloud TPU로 4일(12 층의 Transformer 모델의 경우 4개의 TPU를 사용하여 4일, 24층 Transformer 모델의 경우 16개의 TPU를 사용하여 4일이라는 의미) 각 언어마다 1회만의 순서이다. 자연 언어 처리 개발자는 처음부터 자신의 모델을 사전 학습할 필요가 없다.

전이학습(Fine-tuning)은 저렴하며, 논문(아래 참조)과 똑같은 사전학습이 끝난 모델을 사용하여 하나의 Cloud TPU를 이용, 1시간 GPU를 사용하면 2, 3시간만에 재현할 수 있다. 예를 들면 SQuAD는 하나의 Cloud TPU를 이용 30분으로 하나의 시스템으로서는 최첨단(state-of-the-art)인 91.0%의 Dev F1을 달성할 수 있다.

이밖에 BERT의 또 다른 중요한 측면은 많은 종류의 자연 언어 처치 태스크로 인해 매우 쉽게 채택될 수 있다. 논문 중에서 문장 수준 (SST-2 등), 문장 쌍 수준(MultiNLI 등), 단어 수준(NER 등) 스팬 레벨 2 (SQuAD 등)의 태스크에 대해서 거의 태스크 특유의 변경을 실시하는 일 없이, 최첨단 결과를 얻을 수 있는 것을 나타내고 있다.

참고) 'BERT: 언어 이해를 위한 양방향 트랜스포머 사전 학습(BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding)' 논문(다운받기), BERT Google-research의 깃허브(GitHub) (바로가기)

https://news.v.daum.net/v/20200616094956301

800㎒ 대역 5G 용도로 할당
총 30㎒ 대역 폭 '주파수 경매' 붙을 듯
800㎒ 회절률 좋아 '알짜' 평가
5G 커버리지 확대 '키맨' 부각 전망

5G에서 800㎒ 대역이 중요한 이유는 기존 할당 고주파 대역인 3.5㎓의 약점을 보완해 통신 품질을 높일 수 있기 때문이다. 3.5㎓는 직진성이 강한 반면 장애물을 만나면 반사율이 높고 회절률이 낮다. 전파 도달거리가 짧고 장애물 우회가 어렵다는 얘기다. 유리나 벽돌, 시멘트 같은 건축자재를 만나면 신호가 떨어져 실외에서 실내로 전달되는 신호의 세기도 약해진다. 5G가 '실내에서 속터지게 안터진다'는 오명을 쓰고 있는 이유기도 하다. 기지국 반경도 짧아 4G때보다 5배가량 더욱 촘촘하게 기지국을 설치해야 한다. 이같은 문제는 3.5㎓보다 효율성이 좋아 이통사들이 도입을 추진하고 있는 28㎓도 마찬가지다. 반면 저주파대역인 800㎒은 기지국을 조금만 설치해도 전파경로가 넓어 기지국 투자비를 절감할 수 있다. 업계 관계자는 "고주파대의 장점인 빠른 속도를 유지하면서 실내 신호 약화 등의 약점을 보완하려면 저주파 대역의 적절한 혼용이 필요하다"

신규 폰에서만 저대역을 받을수있나?
아니면 이미판매된 5G단말기도 가능할까?

PC/모바일 에서 아이디로 로그인후에 사용합니다.

https://telegram.me/botfather 주소로 접속합니다.

과거 BBS하는거 같죠?

/start 를 두번~ 세번 해주세요.

https://api.telegram.org/bot1156614402:AAEkQsIV22U0NF_qtEaytva3ot2pc5b8cuM/getUpdates

위주소를 처음 접속하게 되면 아무런 메세지가 없습니다.

여기서 잠시  위 내용에서 매번 이렇게 사용자를 받아야 하나요?

-> 메시지에서 특정 문자가 들어 왔을때 대화 하는 코드를 넣어 주시면 됩니다.

즉 "addid" 일경우 자동으로 message 사용자의 id를 받는 사람으로 등록하도록 하는것

삭제는 "deleteid" 처럼 하게 되면 등록 삭제를 할수 있습니다.

이런 부분을 대화로 풀면 챗봇이 됩니다. 문장을 이해 하는 것은 형태소 분석이나 키워드 조합하여 지식 DB 서치 하는 방식이거나

아이들놀이처럼 스무고개로 문제를 해결하면 멋진 챗봇 프로그램이 완성 되겠습니다.

주의 사항: 알림으로 할경우 동일한 매세지를 모든 사용자에게 보내는것과 대화 모드에서 프로그램과 그 사용자와 대화는 구조가 다릅니다. 간혹 비밀 메세지처럼 보내질거라고 생각하고 사용을 주의해주세요.

<?php
 
//받은 토큰값
define('BOT_TOKEN', '565256823:AAF-kLlJzCtHYh6VbmuKkcOl7u4A0ISSRus');
define('API_URL', 'https://api.telegram.org/bot'.BOT_TOKEN.'/');
 
 //메세지 받을 사용자 아이디값
$_TELEGRAM_CHAT_ID = array('222820526');
 
function telegramExecCurlRequest($handle) {
 
    $response = curl_exec($handle);
 
    if ($response === false) {
        $errno = curl_errno($handle);
        $error = curl_error($handle);
        error_log("Curl returned error $errno: $error\n");
        curl_close($handle);
        return false;
    }
 
    $http_code = intval(curl_getinfo($handle, CURLINFO_HTTP_CODE));
    curl_close($handle);
 
    if ($http_code >= 500) {
        // do not wat to DDOS server if something goes wrong
        sleep(10);
        return false;
    } 
    else if ($http_code != 200) {
 
        $response = json_decode($response, true);
 
        error_log("Request has failed with error {$response['error_code']}: {$response['description']}\n");
 
        if ($http_code == 401) {
            throw new Exception('Invalid access token provided');
        }
 
        return false;
    } 
    else {
 
        $response = json_decode($response, true);
 
        if (isset($response['description'])) {
            error_log("Request was successfull: {$response['description']}\n");
        }
 
        $response = $response['result'];
    }
 
    return $response;
}
 
function telegramApiRequest($method, $parameters) {
 
    if (!is_string($method)) {
        error_log("Method name must be a string\n");
        return false;
    }
 
    if (!$parameters) {
        $parameters = array();
    } 
    else if (!is_array($parameters)) {
        error_log("Parameters must be an array\n");
        return false;
    }
 
    foreach ($parameters as $key => &$val) {
        // encoding to JSON array parameters, for example reply_markup
        if (!is_numeric($val) && !is_string($val)) {
            $val = json_encode($val);
        }
    }
 
    $url = API_URL.$method.'?'.http_build_query($parameters);
 
    $handle = curl_init($url);
    curl_setopt($handle, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($handle, CURLOPT_CONNECTTIMEOUT, 5);
    curl_setopt($handle, CURLOPT_TIMEOUT, 60);
 
    return telegramExecCurlRequest($handle);
}
 
// 메시지 발송 부분
foreach($_TELEGRAM_CHAT_ID AS $_TELEGRAM_CHAT_ID_STR) {
 
    $_TELEGRAM_QUERY_STR    = array(
        'chat_id' => $_TELEGRAM_CHAT_ID_STR,
        'text'    => "안녕 반가워요.\nhttp://daum.net",
        //<- url일경우 타입을 지정하면 자동으로 보인다.
        //자세한 내용은 api를 참조
        "entities"=> array( 
            "offset"=> 0,
            "length"=> 15,
            "type"=> "url"
          )
    );
 
    telegramApiRequest("sendMessage", $_TELEGRAM_QUERY_STR);
}
?>

모든 길은 만든 곳의 도큐먼트에 존재 한다. 

https://core.telegram.org/api

https://core.telegram.org/bots/samples

https://core.telegram.org/bots/samples/hellobot

 뱀딸기 뱀이좋아하나?

2020.06.16 업데이트

한자명 사매(뱀 사蛇 딸기 매苺)에서 유래했다고 나오는데,
[蛇苺 뱀딸기]란 말을 중국과 일본에서도 똑같이 사용한다는 점이다.

뱀딸기란 명칭에 대해 일본어 위키피디아에선 이런 설이...

1. 딸기 열매를 사람이 먹지 않고 뱀이 먹어서 붙여진 명칭
2. 뱀이 있을 것 같은 장소에서 자라기 때문에 붙여진 명칭
3. 딸기를 먹으러 오는 작은 동물을 뱀이 노리는 것에서 유래

음...

먹어도 단맛은 덜하는데.. 왜 뱀딸기일까,ㅜㅜ에 대해 찾아서 갱신중입니다.

뭔지 모르지만 독특하고 가냘픈데 꽃은 이쁘다.

산행중 갈증이나면 어린순 먹었다.
열매도 녹색이었다 가을이면 적색이된다.

요즘은 인테리어 소품이나 약재로 많이사용되서 그런지 잘안보인다.

빗자루나 울타리를 만들었던 싸리나무가 꽃이 핀다는걸 처음 알았어요.


발췌했습니다........
싸리나무는 그 개체가 다양하며 주위에서 흔히 볼 수 있었고, 그 쓰임새가 좋아서 위와 같이 예로부터 실생활에 밀접하게 이용되어왔다. 채반, 소쿠리, 광주리, 삼태기, 다래끼, 울타리, 사립문[2], 반짇고리, 빗자루, 지게, 회초리, 횃불[3], 땔감, 키[4], 삼태기, 지팡이, 화살대 등등...
예전에는 싸리비를 많이 이용하였으나, 최근에는 공장에서 대량생산할 수 있고, 수급하기 편한 재료가 있기에 역사의 뒤편으로 묻히고 있다.

식용으로도 쓰이며 잎과 꽃대를 끓는물에 데쳐 나물로 먹거나, 열매를 가루내어 떡, 국수, 수제비로 먹기도한다. 또한 잎이나 뿌리를 달이거나 즙을 내어 마시기도 하고, 약재로 쓰이기도 한다. 위에서도 보이다시피 꽃이 많이 피는 나무라 꿀의 원화로도 자주 사용된다. 아카시아 꿀에 밀리기는 하지만, 싸리나무에 한번 꽃이 피면 꿀벌 수백마리가 날아와서 근처에만 가도 벌집마냥 윙윙대는 소리가 들릴 정도.

야외에서 젓가락이 없을 때 대용으로도 쓰인다. 흔해서 구하기도 쉽고 독성이 없어 안전하다. 협죽도 항목에 쓰인 사례처럼 독성이 있는 나무도 주변에 많이 있으므로 싸리나무를 구분할 수 있다면 가급적 이를 이용하는 것이 좋다. 얇은 수피만 벗겨내면 바로 쓸 수 있어 편하기까지 하다.

"저같이 나이든 사람 머리 속엔 '지혜'가 있습니다. '기술'이 아닙니다. 지혜를 나누는 것까지 통제당하면, (한 숨)답답합니다. 우리가 안 가면 일본 사람이 가고 미국 사람이 (중국에)갑니다. 이미 '글로벌 원 월드(global one world)'인데…"

https://www.hankyung.com/economy/article/202006128656i

지혜라...
남들다하는데 이거못하나 기본인데라는 말이 기억나 그저 웃었습니다. 금방하더라.

어떤일이든 경력자든 초보자든 물리적시간이 필요하다.

우아 ~ 도시에 이렇게 아름다은 하늘은 처음 봅니다.

사회적 거리두기로 이정도의 하늘을 볼수있게되었나?

https://news.v.daum.net/v/20200612082308280

佛, 4,000만 장 재고..자국제품 구매 독려
반년 새 업체 50배↑ 中, "하반기 95% 도산"
日선 아래로 하락.."적자 각오하고 판매"

[서울경제] 신종 코로나바이러스 감염증(코로나19) 확산으로 전 세계적인 품귀 현상을 빚던 마스크가 이제는 재고가 넘쳐나면서 각국의 골칫거리가 되고 있다.

10일(현지시간) AFP통신은 프랑스에서 현재 4,000만장이 넘는 마스크 재고가 있다고 보도했다. 의료진 등 필수인력에 제공할 마스크조차 없어 발을 동동 구르던 지난 날을 무색케 할 정도다.

----------------------------------

시간이 지날수록 느슨해지고 스스로 지키지 않는다.

위험을 본인 스스로 느낄때만 지킬뿐, 자기가 잃을것이 없다고 판단되면 자포자기하게 된다.

매화나무 열매

중국이 원산지이다.

녹색상태에서 가만히 두면 노랗게 익으면 황매실(단맛이난다)

 효능으로 소화불량해소,피로회복과 해열작용,항암효과가 있다고 한다.

어렸을때는 이게 뭔가 했는데... 둥굴둥글해서 이걸 따서 서로 던지고 놀았으니 ...

회사 분위가 이렇다면?

이런곳에서 일을 한다면 좋겠어요.

너무좋겠어요.

머리를 감을 때마다 ..
손가락 사이마다 잡혀 나오는 내 머리카락...
머리 감기 전 빗질할때 촤라락...
머리 물 묻히며 토닥일때 촤라락....
샴푸할 때 촤라락....
헹굼할 때 촤라락...
다시 트리트먼트 할때 촤라락..
다시 헹굼할 때 촤라락.....
머리 물기 빼고 말리면서 촤라락...
드라이하면서 촤라라라라라라라....

하...
머리카락이 남아 있기는 한건가..
저 빠진만큼 다시 채워지고 있는건가...
아흑..
촤라라라라락... 너무 많아 사진 첨부 생략..
놀랠까봐... 누가.. 내가.. ㅜㅜ

https://news.v.daum.net/v/20200610210912875

LG화학이 한때 주력 산업이었던 LCD 분야 사업을 중국 기업에 매각했습니다.
중국의 저가 공세에 추격당한 분야를 정리하고 다른 사업에 집중한다는 건데

과연 시장에 기술 평준이 이루어져 새로운 도약이 될까?

인텔에 CPU도 더이상 획기적이지 않은지 오래이다.
직접도와 코어만 늘려 저전력 정책과 다양성
컴퓨터를 15년 넘게 사지않는다.
그래도 집에 전자 제품은 쓰지않고 많다..

환경오염을 가중시키는건 확실해지겠구나.
재활용을 국가가 나서서 생산부터 규정을 둬야한다에 한표..

요즘 페티병 비닐 잘 뜯어지고 투명병이 많아서 내눈에는 보기더 좋더라.. 재구매 의사도 생기고...