Big life update 🚀
Были довольно напряжные и загруженные несколько месяцев, но всё это оказалось не зря: за это время я наконец таки переехал на долгосрочное место жительства, после пары лет путешествий. И этим местом стал Лондон 🇬🇧
Переехал по Global Talent визе, собрав её самостоятельно (без агентства), пользуясь опытом людей из очень полезного чата на эту тему @globaltalenthowto, и советами Вани @neural_cat, получившего её на полгода раньше. И в целом, спасибо всем кто помогал с этим 🙏
В начале казалось, что оформить кейс будет очень тяжело, почти нереально. В итоге это и оказалось тяжело :D но выполнимо.
Ещё успел подготовить и прочитать лекции на паре курсов про LLM, увидеть коллег и некоторых старых знакомых вживую. В Лондоне оказалось много классных людей.
Сейчас возвращаюсь к своей рутине, и уже запланировал написать полезных и интересных постов 📚
Если есть вопросы по получению UK Global Talent визы, спрашивайте!
@building_singularity
Были довольно напряжные и загруженные несколько месяцев, но всё это оказалось не зря: за это время я наконец таки переехал на долгосрочное место жительства, после пары лет путешествий. И этим местом стал Лондон 🇬🇧
Переехал по Global Talent визе, собрав её самостоятельно (без агентства), пользуясь опытом людей из очень полезного чата на эту тему @globaltalenthowto, и советами Вани @neural_cat, получившего её на полгода раньше. И в целом, спасибо всем кто помогал с этим 🙏
В начале казалось, что оформить кейс будет очень тяжело, почти нереально. В итоге это и оказалось тяжело :D но выполнимо.
Ещё успел подготовить и прочитать лекции на паре курсов про LLM, увидеть коллег и некоторых старых знакомых вживую. В Лондоне оказалось много классных людей.
Сейчас возвращаюсь к своей рутине, и уже запланировал написать полезных и интересных постов 📚
Если есть вопросы по получению UK Global Talent визы, спрашивайте!
@building_singularity
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥31🎉12👍2
H100 девешле A100
Я уже писал про тренд на уменьшение цены инференса LLM. Недавно на работе столкнулся с ещё одним примером этого.
Мы перешли на H100 для инференса, и стали
- тратить меньше $$$ на сервера
- отвечать немного быстрее (10% меньше time per output token и 50% меньше time to first token)
В нашем случае с LLM в fp8 получилось так, что H100 80gb держит в 2.5 раза больше нагрузки, чем A100 40gb.
А стоит она не в 2.5 раза дороже. Вот и экономия💸
То, что H100 для обучения и инференса LLM кратно выгоднее, чем карты старого поколения - ещё один драйвер цен вниз.
Большая конкуренция на передовом крае между OpenAI, Anthropic, xAI, etc будет их вынуждать покупать (точнее арендовать у Oracle, Azure, AWS, etc), самые новые карты, чтобы обучать LLM быстрее и больше. Но у них уже миллиарды вложены в слегка устаревшую инфраструктуру, которую клауд провайдеры будут готовы сдать подешевле каким нибудь стартапам.
В общем,
- если GPU стоит дороже, это не значит, что инференс вам выйдет дороже
- не стоит брать лонг терм контракты на старые карты, потому что с течением времени они будут заметно дешеветь; если у вас не бесплатные стартап кредиты конечно, которые можно только так потратить. Это кстати наш случай, поэтому частично мы ещё всё таки на A100, который на условном runpod можно сейчас снять дешевле
(перевел статью на английский, чуть добавил контекста и запостил в свой LinkedIn)
@building_singularity
Я уже писал про тренд на уменьшение цены инференса LLM. Недавно на работе столкнулся с ещё одним примером этого.
Мы перешли на H100 для инференса, и стали
- тратить меньше $$$ на сервера
- отвечать немного быстрее (10% меньше time per output token и 50% меньше time to first token)
В нашем случае с LLM в fp8 получилось так, что H100 80gb держит в 2.5 раза больше нагрузки, чем A100 40gb.
А стоит она не в 2.5 раза дороже. Вот и экономия
То, что H100 для обучения и инференса LLM кратно выгоднее, чем карты старого поколения - ещё один драйвер цен вниз.
Большая конкуренция на передовом крае между OpenAI, Anthropic, xAI, etc будет их вынуждать покупать (точнее арендовать у Oracle, Azure, AWS, etc), самые новые карты, чтобы обучать LLM быстрее и больше. Но у них уже миллиарды вложены в слегка устаревшую инфраструктуру, которую клауд провайдеры будут готовы сдать подешевле каким нибудь стартапам.
В общем,
- если GPU стоит дороже, это не значит, что инференс вам выйдет дороже
- не стоит брать лонг терм контракты на старые карты, потому что с течением времени они будут заметно дешеветь; если у вас не бесплатные стартап кредиты конечно, которые можно только так потратить. Это кстати наш случай, поэтому частично мы ещё всё таки на A100, который на условном runpod можно сейчас снять дешевле
(перевел статью на английский, чуть добавил контекста и запостил в свой LinkedIn)
@building_singularity
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥21👍9❤6
Последние 5 месяцев работаю в стартапе Slingshot AI. И сегодня мы публично анонсируем наш продукт: Ash, AI for Therapy
Мы обучаем foundational LLM для терапии и делаем продукт вокруг неё. В отличие от general-purpose LLM типа ChatGPT, которые чаще всего
- просто валидируют эмоции в 90% случаев
- дают сразу 5 разных вариантов перестать тревожиться
- со всем соглашаются
- не строят долгосрочного плана
мы делаем продукт, который будет подстраиваться под ситуацию пользователя, строить долгосрочный план, улучшать его жизнь.
У нас крутая команда ML и клинических психологов, и мы планируем изобрести новый вид терапии 😀
Мы очень стараемся сделать полезный продукт, и нам повезло поднять $93M от крутых инвесторов. Поэтому сейчас можно использовать Ash бесплатно, и в будущем существенная часть продукта точно будет оставаться бесплатной!)
Попробовать Ash
Мы обучаем foundational LLM для терапии и делаем продукт вокруг неё. В отличие от general-purpose LLM типа ChatGPT, которые чаще всего
- просто валидируют эмоции в 90% случаев
- дают сразу 5 разных вариантов перестать тревожиться
- со всем соглашаются
- не строят долгосрочного плана
мы делаем продукт, который будет подстраиваться под ситуацию пользователя, строить долгосрочный план, улучшать его жизнь.
У нас крутая команда ML и клинических психологов, и мы планируем изобрести новый вид терапии 😀
Мы очень стараемся сделать полезный продукт, и нам повезло поднять $93M от крутых инвесторов. Поэтому сейчас можно использовать Ash бесплатно, и в будущем существенная часть продукта точно будет оставаться бесплатной!)
Попробовать Ash
👍23🔥9👎3🎉3🤔1