How copilot works at the high level, https://youtu.be/B2-8wrF9Okc.

State of GPT talk by Andrej Karpathy: https://www.youtube.com/watch?v=bZQun8Y4L2A&t=373s

Would highly recommend watching the above! A 45-minute lecture going over the State of Generative LLMs, how are they trained, what they can and can't do, advanced techniques like CoT, ReAct, Reflection, BabyAGI, and Agents in general and finally some great tips on using LLMs in production. Pretty simple but very very informative

Here's an https://assembly.ai transcript and chapter summaries:
👂🏼 🤖 📃
https://www.assemblyai.com/playground/transcript/64kyzev80o-6ed4-4902-a066-7df25c363193

Andre Karpathi is a founding member of OpenAI. He will talk about how we train GPT assistants. In the second part he will take a look at how we can use these assistants effectively for your applications.

TRAINING NEURAL NETWORKS ON THE INTERNET

We have four major stages pretraining supervised fine tuning, reward modeling, reinforcement learning. In each stage we have a data set that powers that stage. And then we have an algorithm that for our purposes will be an objective for training a neural network.

GPT 3.1: BASE MODELS AND AGENTS

The GPT four model that you might be interacting with over API is not a base model, it's an assistant model. You can even trick base models into being assistants. Instead we have a different path to make actual GPT assistance, not just base model document completers.

NEUROANATOMY 2.8

In the reward modeling step, what we're going to do is we're now going to shift our data collection to be of the form of comparisons. Now, because we have a reward model, we can score the quality of any arbitrary completion for any given prompt. And then at the end, you could deploy a Rlhf model.

COGNITIVE PROCESSES AND GPT

How do we best apply a GPT assistant model to your problems? Think about the rich internal monologue and tool use and how much work actually goes computationally in your brain to generate this one final sentence. From GPT's perspective, this is just a sequence of tokens.

TREE OF THOUGHT AND PROMPT ENGINEERING

A lot of people are really playing around with kind of prompt engineering to bring back some of these abilities that we sort of have in our brain for LLMs. I think this is kind of an equivalent of AlphaGo but for text. I would not advise people to use it in practical applications.

WHAT ARE THE QUIRKS OF LLMS?

The next thing that I find kind of interesting is that LLMs don't want to succeed, they want to imitate. And so at test time, you actually have to ask for a good performance. Next up, I think a lot of people are really interested in basically retrieval augmented generation.

CONSTRAINT PROMPTING IN LLMS

Next, I wanted to briefly talk about constraint prompting. This is basically techniques for forcing a certain template in the outputs of LLMs. And I think this kind of constraint sampling is also extremely interesting.

FINE-TUNING A LANGUAGE MODEL

You can get really far with prompt engineering, but it's also possible to think about fine tuning your models. Fine tuning is a lot more technically involved. It requires human data contractors for data sets and or synthetic data pipelines. Break up your task into two major parts.

LIMITS TO FULLY AUTONOMOUS LLMS

There's a large number of limitations to LLMs today, so I would keep that definitely in mind for all your applications models. My recommendation right now is use LLMs in low stakes applications, combine them with always with human oversight. Think copilots instead of completely autonomous agents.
🧑🏼‍✈️ 🚧💻

In this post, I try to answer specific questions about the internals of Copilot, while also describing some interesting observations I made as I combed through the code. I will provide pointers to the relevant code for almost everything I talk about, so that interested folks can take a look at the code themselves.

https://thakkarparth007.github.io/copilot-explorer/posts/copilot-internals

<자극을 줄이고 생각을 늘리기>

요즘 현대인들은 거의 ADHD 상태로 일을 한다고 생각이 드는 면이 있다. 지속적으로 높은 강도의 자극에 자신을 노출시키기 쉽기 때문이다. 이런 환경속에서 뭐 하나에 차분하게 집중하고 깊이 있는 사고를 하기가 힘들다.

두 가지 사례를 먼저 소개하겠다.

사례 1)

내가 아는 K모씨는 대기업 직원이었는데, 하루에 전사에서 들어오는 업무 요청만 수백건이라고 했다. 그래서 날마다 밤 11시에 퇴근을 하고 있었다.

그러다가 나에게서 애자일 이야기를 듣고 실험을 해보기로 결심했다. 정시 퇴근. 그래서 팀장에게 제안을 했다. 오늘부터 18시 정시 퇴근을 하겠다. 혹여 일 처리가 조금이라도 떨어진다는 느낌이 들면 얘기해라. 바로 원복하겠다. 그러고 그날부터 18시 퇴근을 했다. 집에 오면 저녁 7시부터 9시까지 두 시간씩 6살 아이랑 놀아줬다고 한다. 그전까지 아이에게 아빠는 없는 존재였다. 주중에는 밤 11시에 오고, 아침에는 자기보다 먼저 나가고 주말에는 계속 쓰러져 있었으니. 그런 아이에게 "아빠"가 생긴 거다.

근데 문제가 하나 있었다. 정시 퇴근을 했으니 다 처리 못한 일들이 문제. 그런데 보안문제 때문에 집에서 회사 컴퓨터나 자료에 접근할 수가 없었다. 그래서 그가 대안으로 했던 거는 밤 11시부터 1시까지 두 시간 동안 자기 책상에 이면지 펼치고 앉아서 오늘 했던 일들, 내일 할 일들을 어떻게 해야 더 현명하게 처리할 건가 전략을 짜는 거였다. 그걸 날마다 했다.

그러고 다음날 출근을 하니 업무 요청 중의 50% 이상은 자동으로 해결된 경우가 많았고(요청한 부서에서 답답하니 자체적으로 해결), 남은 50%는 지난 밤에 고민한 결과 더 현명한 방법으로 처리를 해서 금방 끝낼 수 있었다.

물론 결과적으로 밤 11시 퇴근할 때보다 수면시간이 줄었다고 한다. 예전에는 집에 들어오면 바로 쓰러져서 잤으니까. 하지만 몸이 느끼는 에너지는 훨씬 좋아졌다고 한다.

사례 2)

예전에 군대시절 자대 배치를 받고 해당 부대에 갔고 사수를 배당 받았다. 근데 그 사수 얼굴을 보기가 힘든거다. 며칠 지나 알게 됐는데 그 사수 전역일이 1주일 뒤란다. 내 사수의 보직은 대대 정비과 서무병. 워낙 하는 일이 많고 복잡해서 통상 1년 정도는 인수인계를 받아야 제대로 일을 하게 된다고 한다. 근데 이 사람은 1주일 뒤에 전역하고, 이 1주일도 얼렁뚱땅 지나가고 있었다. 가끔 정비과에 내려와서는 궁금한 거 물어봐하고 누워있거나 하는 정도. 정말 문제는 이 사람의 보직을 정확하게 파악하는 사람이 간부나 병 중에 아무도 없다는 거.

결국 나는 거의 아무것도 배우지도 못한 채로 사수가 전역을 했고, 업무 매뉴얼도 하나 없었다. 참고할 자료가 전혀 없는 상황.

고민하다가 결국 하게 된 선택은 원리와 원칙으로 생각해서 행동하자는 거였다. 어떤 문제 상황이 발생하면 내가 생각하는 기본적인 원리에 따라(예컨대 어떻게 하는 것이 육군에게 이득이 되는 행동인가 같은) 논리적으로 말이 되는 행동을 생각해서 했다. 내가 모든 규칙과 법을 설계하면서 했다고 할까. 이러니까 거칠 것이 없었다. 뭐든지 깊게 생각해서 그대로 하면 다 풀리더라는.

근데 의외로 이 방법이 잘 통했다. 그래서 결국 내가 모든 체계를 만들었고 이걸로 상도 몇번 받았다. 군단에서 감사 내려왔을 때에는 내가 군무원이랑 장교들 모아놓고 비공식 강연도 했다.

----
때로는 외부 자극/정보를 제한하고 생각에 집중하는 것이 도움이 되는 경우가 있다. 덤으로 생각하는 근육과 기술도 늘게 된다.

그래서 나는 예컨대 다음과 같은 것들을 추천한다:
* 버그가 나오면 바로 검색창에 때려넣지 말고 적어도 5분, 10분간은 백지에다가 문제상황을 그려보고 원인 유추해보기
* 전혀 모르는 분야에 입문하고 싶을 때 인터넷 검색보다는 서점에서 잘나가는 책 중에 스타일이 다른 책 3권을 구입해서 얘를 비교해보면서 보기 (나는 이걸 bounded exploration이라고 부른다 -- 이걸 안하면 어느 하나 제대로 보지 않고 계속 깔짝깔짝 대면서 시간을 낭비하기 쉽다)
* 해결해야할 복잡한 문제가 있을 경우 추가 정보를 전혀 찾지 않고 백지를 펼쳐놓고 30분 동안 논리와 내 생각, 내 과거경험으로만 해결책을 설계해 보기

https://www.facebook.com/100000557305988/posts/pfbid02joCFDgeyR58vuv2MyZqQWJ1cf7FwrYZHS6FLq9ox8Bqu2RE9cV3HdgzWdHJvopjkl/?mibextid=jf9HGS

Speechless 🥹

https://youtu.be/GvKQKnIVy1I

너무나 쉬워지는 데이터 사이언스 🚀

ChatGPT 덕분에 데이터 사이언스가 놀랍도록 쉬워지고 있습니다. 🤖 이전에는 클러스터링을 이용한 아래 차트를 만들기 위해 필요했던 지식들은 다음과 같았습니다.

## Google Colab 학습 시간 📚:

1. 기본적인 사용법을 익히는데 약 1주 정도의 학습 시간이 필요했습니다.

2. 더 복잡한 작업, 예를 들어 외부 데이터를 불러오거나, 큰 규모의 데이터를 처리하는 방법 등을 학습하는데 추가적인 1~2주의 시간이 필요했습니다.

## 데이터 과학 배경 지식 🎓:

1. 클러스터링: 기본적인 이해를 위해 1~2주의 학습 시간이 필요했습니다.

2. 클러스터링 평가 지표: 각 지표에 대한 기본적인 이해를 위해 1주 정도의 학습 시간이 필요했습니다.

3. 데이터 분석 및 처리: 이 주제는 광범위하므로, 기본적인 데이터 전처리 및 분석 기법을 습득하는 데는 최소한 1~2개월의 학습 시간이 필요했습니다.

## API 지식 💻:

1. Firebase Firestore: Firestore의 기본적인 사용법을 배우는 데는 1~2주의 시간이 소요됐습니다.

## 코딩 스킬 🖥️:

1. 파이썬: 파이썬의 기본 문법을 익히는 데는 약 1~2개월의 학습 시간이 필요했습니다.

2. NumPy: 기본적인 NumPy 기능을 익히는 데는 약 1~2주의 학습 시간이 필요했습니다.

3. Matplotlib: 기본적인 그래프를 그리는 방법을 배우는 데는 약 1주의 학습 시간이 필요했습니다.

위에서 제시한 각 항목의 학습 시간을 합산하면 대략적으로 다음과 같습니다: 데이터 과학 기초: 약 2~4개월, API 지식 (Firebase Firestore): 약 1~2주, 코딩 스킬 (파이썬, NumPy, Matplotlib): 약 2~3개월. 따라서 총 학습 시간은 약 4~7개월 정도로 예상할 수 있습니다. 📈

----

# ChatGPT를 이용하니 다음과 같이 되어버렸습니다. 🔄

AI가 코딩과 실험 설계를 담당하므로 그 부분의 학습 시간은 제외할 수 있습니다. 그러므로, 남은 부분은 데이터 과학에 대한 가벼운 배경 지식과 Google Colab에 대한 이해입니다. 🤔

1. 데이터 과학 배경 지식: AI 비서의 설명과 가이드로, 약 1개월로 단축될 수 있습니다. 경우에 따라서는 2주에도 기본 개념을 훑을 수 있습니다.

2. Google Colab: AI 비서의 도움으로, 학습 시간을 약 1주로 줄일 수 있습니다. - 사실 1시간만 해도 될 것 같긴 해요

이 경우, 총 학습 시간은 약 1~2개월 정도로 추정됩니다. 이미 코딩 스킬과 API 사용에 대한 지식이 있다면, 이 시간은 더욱 단축될 수 있습니다. ⌛

----

결국 초보자의 경우 6개월 코스 -> 1개월 코스가 됩니다. 🎉 데이터 사이언스 배경 지식을 알고 있고 파이썬 라이브러리 사용 방법을 몰랐던 제 입장에서는 3주 정도에서 두시간으로 단축 되었습니다. 😲 이 외에도 데이터 과학 전반을 배우려면 4년도 모자랍니다.

결국 시니어 데이터 사이언티스 한명이 할 수 있는 일이 쥬니어 사이언티스트와 쥬니어 데이터 엔지니어 10명 이상에 해당하는 일이 되어버립니다.

실리콘밸리에서는 이미 쥬니어 데이터 과학자들이 빠른 속도로 직업을 잃고 있습니다. 😱

학교에서의 과정도 바뀌어야 할 것 같습니다. 오히려 같은 시간 내에 더 깊이 있는 이론을 배울 수 있을 것 같습니다. 또한 실제 코딩보다는 연구 방법론에 중점을 두고 교육 설계를 해야 할 것 같습니다. 데이터 사이언티스트들이 실무 기술보다 지식적으로 상향 평준화 되는 상황이 올 것 같습니다.

---

아래 scatter plot을 위해 사용한 prompt:

1. Get the latest 1000 samples from user_tribes collection
2, tribeId is cluster id, x and y are the coordinates.
3. Measure the homogeneity and completeness using colab.
4. Visualize the results.

Kmeans라고 말도 안 했는데 알아서 갖다 쓰네요.

https://www.facebook.com/634740022/posts/pfbid0cuABUXxgECdMwZfQaZ9u88HqXaLoLKzdJxBGLSsfHMfUovKRdQnuybjUYc9sJycsl/?mibextid=jf9HGS

He's the epitome of what a respectable adult in soccer is.

https://youtu.be/h2F9R4tWF-0

😭😭 https://fb.watch/lvphv7XT-u/?mibextid=jf9HGS

스몰토크 잘하는 팁, Conversation Threading

소셜라이징이라는 맥락에서 Conv. Threading 이란, 의도적으로 나에 관한 키워드들을 대화에 추가정보로 흘리므로써 상대방(혹은 그룹내 타인)이 그 키워드들을 줍줍하여 자연스럽게 흠터레스팅한 대화가 이어지도록 하는 행위 또는 대화법.

예를 들어, 고향이 어디세요? 라고하면 일반적으로는 "전남 순천이요." 라고 단답으로 끝낼 수 있는걸 CT를 잘 하는 사람은 “전남 순천이요, 여수 밤바다와 가까운데 순천만습지로 유명하고 생태학습 하시는 분들의 성지에요.” 라고 얘기를 한다. 그러면 그 그룹에서 누구든 쓰레드를 이어갈 수 있다. 여수 밤바다 노래 얘기를 할 수도, 여수 여행간 얘기를 할 수도, 습지 얘기나 생태학습에 대한 질문을 할 수도있다.

과거 내게 영향을 줬던 많은 리더들이 (특히 영어권) 이 스킬을 자연스럽게 사용하는걸 보고 배우려고 노력 많이 했다. 그런데 아직도 TMI 와 흠터레스팅의 선을 구분해서 활용하기 참 어렵다. 어쨌든 키워드를 흘리려고 노력하면, 주변이들의 줍줍하는 상황들에서 자칫 끊길만한 대화가 연결되고 라포를 더욱 쉽게 만들 수 있다.

https://loopward.com/improve-conversation-skills-using-conversational-threads-and-sharing-experiences/

https://www.facebook.com/1150372185/posts/pfbid02ke1dLH2EPwSGkNSSGVL7NutMUkGN5ADNT2Zzeh3cQE8BK1rmHNoiGwz75kVT22v8l/?mibextid=jf9HGS

여성리더분들을 위한 이야기--

여성 리더들과의 토크 모임이 있었다. 제게 남성의 관점에서 여성리더에게 이야기를 해 달라고 해서 한 이야기 중 몇가지를 정리하면~

0. 여성으로 커리어를 쌓는다는 것은 훨씬 기울어진 운동장에서 플레이하는 것임은 분명하다. 다행히도 사회변화에 따라 조금씩 나아지는 듯 하다.

1. 남성 리더를 흉내내지말고 여성으로서의 강점을 활용하는게 어떨까요
- 과거에는 남자같은 스타일, 남자보다 더 쎈 여성들이 리더로 적합하다고 여김
- 불확실하고 다양한 시대, 공감, 수평, 포용의 리더십이 중요한 이때 여성의 강점이 리더로서 점점 필요해짐
- 그러므로 여성으로서의 강점을 마음껏 발휘하자.

2. 자신감 가지고 표현하자
- 부드럽고 공감력이 있다는것과 자신감이 없다는 것은 다름. 부드러워도 함부로 대하는 이들에겐 단호할수 있고 매사 자신감에 가득찰수 있어요.
- 너무 겸손하고 양보하지 말고 당당하고 자신감을 가집시다. 대개 당신보다 실력없는 남성들이 훨씬 더 자신감에 충만하다.

3. 더 큰 책임, 리더십, 프로젝트를 확장합시다.
- R&R에 얽매이고 주저하기보다 성장할수 있고 기여할수 있는 프로젝트, 책임을 과감히 취하시라.

4. 자신에게 책임돌리지말고, 상하거나 폭발하는 감정은 빠르게 회복합시다.
- 자신을 탓하거나 자신에게 책임을 돌리지 마세요. 당신의 잘못이 아니예요.
- 감정은 나쁜 것이 없으나 두려움, 실망, 슬픔, 분노 등의 감정을 오래 두거나 너무 강하게 표출하기 보다는 (운동, 명상, 걷기 등) 스트레스 해소법을 만들어 빠르게 회복하세요.

5. 완벽주의를 떨쳐버립시다.
- 전략적으로 무능하세요
- 모든것을 잘하려 할 필요는 없어요.
- 인생을 숙제하듯 시험보듯 살 필요가 있나요. 직장, 가정, 친척, 시댁, 사회 등 모든것을 100점 맞으려 하면 너무 힘들죠.

6. 괴롭히는 상사, 힘든 사람은 긍휼하게 봅시다.
- 진짜 소시오는 생각만큼 별로없다. 알고보면 대개 평범한 아저씨, 아줌마일뿐.
- 다 생존하기위해 분투하는것일수 있으니 긍휼의 눈으로 보자.

7. 누군가의 무엇이 아니라 스스로의 길을 갑시다.
- 너무 빨리 자신의 커리어를 포기하지 맙시다. 나중에 후회하는 경우가 더 많더군요.
- 누군가의 무엇보다 자신의 커리어와 삶을 삽시다.

p.s. 한 페친이 언급한바와 같이 저는 구조적인 관점보다는 개인의 관점에서 말씀드렸습니다. 아마 개인으로서 어떻게 노력하라는 것보다 사실 사회 구조적 인식과 체계의 변화가 더 필요할 것입니다.

https://www.facebook.com/100006237757461/posts/pfbid02Nuwoy8XghsAmtxmR8vfCRi6naXNwMYVS5V4qybY4pgjbturAb1RHV26YSLYQBoXHl/?mibextid=jf9HGS

AI의 핫한 주제들에 관한 내용인데, 하나하나 다 생각해봐야하는 부분들이고 개인적으로는 전부 동의.

그리고 무엇보다도 결론 내용 너무 맞는말이다... 역시 내 최애 뉴스레터 답군.

다른 사람들의 의견은 열심히 듣되, 판단은 결국 스스로 내려야한다.

https://luttig.substack.com/p/hallucinations-in-ai

Lessons gleaned from my wise bro

- Trust is built through a tapestry of gentle acts and kept promises.

Doug Leone of Sequoia Capital

Trust is forged through a blend of sincerity and excellence. In the absence of either, securing trust becomes challenging. Integrity is essential for fostering a healthy work environment; without it, you risk alienating your team. On the other hand, a lack of excellence hampers trust-building. It sets the tone and vision for a company. Once the company's direction is determined, it's crucial to attract the talent required to turn that vision into reality.

Jeff Bezos:

The founder of Amazon shared his 4-step method for building trust and reputation:
1. Do hard things: Earn trust by doing hard things well over and over again.
2. If you say you're going to do something, do it: Keep your promises and commitments.
3. Take controversial stances: Be willing to take risks and make tough decisions.
4. Have clarity: Be clear in your communication and decision-making.