PyTorch 2.0 release
Блог
Github release notes
Сегодня pytorch 2.0 вышел с nightly на релиз. Вот его новые фичи, часть всё ещё в бете:
1. Полная backward compatibility и никаких серьёзных изменений стандарнтых API типа torch.nn — всё ещё наш любимый торч
1. Быстрее чем 1.X благодаря тому что куски переписали на Triton и C++
1. Accelerated Transformers (i.e. Better Transformers) — фичи для быстрого и эффективного exact attention, такие как Flash attention.
1. Лучшая поддержка MPS на MacOS и оптимизации для AWS Graviton3
1. Jax-like torch.func
Главная фича:
Но по-настоящему самая главная фича (потому что её я написал) это что
Блог
Github release notes
Сегодня pytorch 2.0 вышел с nightly на релиз. Вот его новые фичи, часть всё ещё в бете:
1. Полная backward compatibility и никаких серьёзных изменений стандарнтых API типа torch.nn — всё ещё наш любимый торч
1. Быстрее чем 1.X благодаря тому что куски переписали на Triton и C++
1. Accelerated Transformers (i.e. Better Transformers) — фичи для быстрого и эффективного exact attention, такие как Flash attention.
1. Лучшая поддержка MPS на MacOS и оптимизации для AWS Graviton3
1. Jax-like torch.func
Главная фича:
torch.compile, который заменяет старые torchscript и jit. Обещает быть более user-friendly.Но по-настоящему самая главная фича (потому что её я написал) это что
__repr__ ModuleList теперь выглядит компактно когда модули повторяются.❤51👍13👏4
Новый поисковик Neeva.com запустил восхитительно аггресивную, но прекрасную маркетинговую компанию.
https://twitter.com/Neeva/status/1636780170727260160
1. Поднять сайт whereisgoogleai.com
2. Запустить газелью кататься с рекламой прямо рядом с офисом гугла в нью йорке
Кстати я пользовался Neeva почти год до того как перешёл на you.com и он был прямо неплох. Советую попробовать да может быть и сам вернусь на недельку
https://twitter.com/Neeva/status/1636780170727260160
1. Поднять сайт whereisgoogleai.com
2. Запустить газелью кататься с рекламой прямо рядом с офисом гугла в нью йорке
Кстати я пользовался Neeva почти год до того как перешёл на you.com и он был прямо неплох. Советую попробовать да может быть и сам вернусь на недельку
😁31👍3❤1
🙏19😁2
Новая подборка новостей из мира NLP
1. ViperGPT — языковая модель которая решает vision-language задачи через геенрацию кода для других моделей 🔥
1. Wolverine — скрипт для "лечения" вашего кода. Автоматически закидывет ошибку в OpenIAI Api и фиксит. Процесс повторяется пока всё не падает. Звучит дико и надеюсь не будет распространено, но боюсь будет
1. Text-to-video опенсорсная моделька в 1.7B параметров. Выглядит на удивление классно.
1. Faster Long-Range Transformers with Conditional Computation — трансформер который на каждом слое выбирает использовать большой слой или маленький. И также выбирает каким токенам смотреть на какие. Достигли длины 64K и бьют LongT5 на меньших длинах.
1. Labor Market Impact of LLMs — анализ того как языковые модели повлияют на рынок труда. У сиолошной уже есть обзор.
1. ViperGPT — языковая модель которая решает vision-language задачи через геенрацию кода для других моделей 🔥
1. Wolverine — скрипт для "лечения" вашего кода. Автоматически закидывет ошибку в OpenIAI Api и фиксит. Процесс повторяется пока всё не падает. Звучит дико и надеюсь не будет распространено, но боюсь будет
1. Text-to-video опенсорсная моделька в 1.7B параметров. Выглядит на удивление классно.
1. Faster Long-Range Transformers with Conditional Computation — трансформер который на каждом слое выбирает использовать большой слой или маленький. И также выбирает каким токенам смотреть на какие. Достигли длины 64K и бьют LongT5 на меньших длинах.
1. Labor Market Impact of LLMs — анализ того как языковые модели повлияют на рынок труда. У сиолошной уже есть обзор.
👍19💅4🤝3🔥2
На случай если вы живёте/учитесь в США, а конкретно недалеко от Бостона, мы в UMass Lowell проводим второй New England NLP Meetup.
https://nenlp.github.io/spr2023/
В прошлый раз мы проводили его в MIT и это было очень классно. Я познакомился с кучей рисёчеров из Brown, MIT, Harward, Amherst. Также это возможность попиарить свой рисёч на нашей постер-сессии.
Мы приглашаем PhD студентов и рисёчеров из академии и индустрии. Ивент будет in-person 18 апреля.
Регистрация открыта до 31 марта.
https://nenlp.github.io/spr2023/
В прошлый раз мы проводили его в MIT и это было очень классно. Я познакомился с кучей рисёчеров из Brown, MIT, Harward, Amherst. Также это возможность попиарить свой рисёч на нашей постер-сессии.
Мы приглашаем PhD студентов и рисёчеров из академии и индустрии. Ивент будет in-person 18 апреля.
Регистрация открыта до 31 марта.
👍25🤡6
GitHub Copilot X: The AI-powered developer experience
github.blog/2023-03-22-github-copilot-x-the-ai-powered-developer-experience
Гитхаб продолжает развивать копайлот и новые продукты логичное развитие идеи копайлота
1. Copilot Chat — ChatGPT-like experience in your editor, которое обусловлено на ваш код. Выглядит интересно, я оч хочу попробовать.
1. Copilot for Pull Requests — автоматическое описание пул-реквестов.
1. Copilot for Docs — ответы на вопросы по документации будут генериться на основе текущей документации (retreive + in-context?). Будет встроено в Copilot Chat. Сейчас поддерживают React, Azure Docs, и MDN, что и логично так как там без постоянной подглядки в доки работать невзможно.
1. Copilot for the command line interface — по сути то же самое что я сделал в howto, но от гитхаба
Powered by GPT-4
Если вы всё ещё не используете copilot в своей работе, я честно не понимаю почему.
github.blog/2023-03-22-github-copilot-x-the-ai-powered-developer-experience
Гитхаб продолжает развивать копайлот и новые продукты логичное развитие идеи копайлота
1. Copilot Chat — ChatGPT-like experience in your editor, которое обусловлено на ваш код. Выглядит интересно, я оч хочу попробовать.
1. Copilot for Pull Requests — автоматическое описание пул-реквестов.
1. Copilot for Docs — ответы на вопросы по документации будут генериться на основе текущей документации (retreive + in-context?). Будет встроено в Copilot Chat. Сейчас поддерживают React, Azure Docs, и MDN, что и логично так как там без постоянной подглядки в доки работать невзможно.
1. Copilot for the command line interface — по сути то же самое что я сделал в howto, но от гитхаба
Powered by GPT-4
Если вы всё ещё не используете copilot в своей работе, я честно не понимаю почему.
The GitHub Blog
GitHub Copilot X: The AI-powered developer experience
GitHub Copilot is evolving to bring chat and voice interfaces, support pull requests, answer questions, and adopt OpenAI's GPT-4.
👍27❤1
Forwarded from HN Best Comments
Re: GitHub Copilot X: The AI-powered developer experie...
There are 5 different sign-up waiting lists. Each one needs to be signed-up for separately.
[1] Copilot X: https://github.com/github-copilot/chat_waitlist_signup/
[2] Copilot Voice: https://githubnext.com/projects/copilot-voice/
[3] Copilot Docs: https://githubnext.com/projects/copilot-for-docs/
[4] Copilot for PRs: https://githubnext.com/projects/copilot-for-pull-requests/
[5] Copilot CLI: https://githubnext.com/projects/copilot-cli/
gzer0, 3 hours ago
There are 5 different sign-up waiting lists. Each one needs to be signed-up for separately.
[1] Copilot X: https://github.com/github-copilot/chat_waitlist_signup/
[2] Copilot Voice: https://githubnext.com/projects/copilot-voice/
[3] Copilot Docs: https://githubnext.com/projects/copilot-for-docs/
[4] Copilot for PRs: https://githubnext.com/projects/copilot-for-pull-requests/
[5] Copilot CLI: https://githubnext.com/projects/copilot-cli/
gzer0, 3 hours ago
👍7❤1
Тут Microsoft Research говорит что GPT4 - это AGI
arxiv.org/abs/2303.12712
Коротко: модель умеет генерировать картинки, музыку, 3D (через генерацию кода который их создает), решать уравнения, доказывать теоремы, делать ферми-вычисления (для этого очень полезен world knowledge), юзать тулзы, понимать как работает 2D-навигация, показывает высокий уровень theory of mind и понимания эмоций.
Пока что плохо с critical reasoning и признанием своих ошибок если на них явно не указать.
Звучит очень круто и кажется scale is all you need с нами надолго, пойду закажу футболку.
arxiv.org/abs/2303.12712
Коротко: модель умеет генерировать картинки, музыку, 3D (через генерацию кода который их создает), решать уравнения, доказывать теоремы, делать ферми-вычисления (для этого очень полезен world knowledge), юзать тулзы, понимать как работает 2D-навигация, показывает высокий уровень theory of mind и понимания эмоций.
Пока что плохо с critical reasoning и признанием своих ошибок если на них явно не указать.
Звучит очень круто и кажется scale is all you need с нами надолго, пойду закажу футболку.
🤔32👍7😱7🤡5❤4🔥4❤🔥1
Внезапно поделюсь статьёй на VC от знакомой (да, я сам удивлен). Статья на наболевшую тему составления резюме.
Четыре года назад когда я переехал на учебу в штаты именно Анна помогла мне полностью переделать CV, после чего я попал на стажировку в гугл.
В статье есть полезные советы о том что добавлять в описание опыта работы, например перечислить скилы которые вы получили там, а что не надо. Также есть ссылки на хорошие шаблоны CV в Overleaf.
Четыре года назад когда я переехал на учебу в штаты именно Анна помогла мне полностью переделать CV, после чего я попал на стажировку в гугл.
В статье есть полезные советы о том что добавлять в описание опыта работы, например перечислить скилы которые вы получили там, а что не надо. Также есть ссылки на хорошие шаблоны CV в Overleaf.
vc.ru
Краткий гайд - составление Resume/CV для Data Scientist — Карьера на vc.ru
Резюме/ CV / аккаунт LinkedIN - инструменты, с создания или обновления которых, чаще всего начинается поиск работы. Обновление резюме чаще всего необходимо, когда Вы просто ищете работу, и тем более требуется, если ищете работу Remote, с переездом в другую…
👍24🔥10🤮4❤3
Forwarded from Сиолошная
This is huge....
OpenAI подсуетились и добавили плагины к ChatGPT (документация тут). Причём набор очень солидный - есть !ВНИМАНИЕ! веб-браузер и ретривер, код для которого открыт и лежит на GitHub. Ретривер - это то, что позволяет искать нужный контекст среди большой коллекции документов. Например, вы пишете бота, который должен отвечать на вопросы по истории - просто загрузите в него википедию! Тогда по запросу про Древний Рим будет находиться пара нужных страниц, они будут подставлены в контекст, а ChatGPT их "прочитает" и даст ответ!
А ещё есть интерпретатор кода. В общем, по сути почти любую идею теперь можно накликать прямо в браузере, и собрать на коленке огненный прототип, который и в интернет сбегает, и калькулятор вызовет для арифметики, и ещё и сообщение в слак-канал вам отправит.
Го накликивать свои юникорн-стартапы⌨️
OpenAI подсуетились и добавили плагины к ChatGPT (документация тут). Причём набор очень солидный - есть !ВНИМАНИЕ! веб-браузер и ретривер, код для которого открыт и лежит на GitHub. Ретривер - это то, что позволяет искать нужный контекст среди большой коллекции документов. Например, вы пишете бота, который должен отвечать на вопросы по истории - просто загрузите в него википедию! Тогда по запросу про Древний Рим будет находиться пара нужных страниц, они будут подставлены в контекст, а ChatGPT их "прочитает" и даст ответ!
А ещё есть интерпретатор кода. В общем, по сути почти любую идею теперь можно накликать прямо в браузере, и собрать на коленке огненный прототип, который и в интернет сбегает, и калькулятор вызовет для арифметики, и ещё и сообщение в слак-канал вам отправит.
Го накликивать свои юникорн-стартапы
Please open Telegram to view this post
VIEW IN TELEGRAM
❤34🤯8👍6🔥2