Big data world

Несколько часов назад Лама-3 8Б была самой мощной маленькой моделью ИИ. Microsoft только что выпустила Phi-3 Mini, который лучше почти во всех тестах. Вы можете использовать его локально бесплатно, поскольку он имеет открытый исходный код (подробности ниже): https://lmstudio.ai/

Изучите RAG с нуля — Учебное пособие по Python AI от инженера LangChain

https://www.freecodecamp.org/news/mastering-rag-from-scratch

freeCodeCamp.org
Learn RAG from Scratch – Python AI Tutorial from a LangChain Engineer

Retrieval-Augmented Generation (RAG) can be extremely helpful when developing projects with Large Language Models. It combines the power of retrieval systems with advanced natural language generation, providing a sophisticated approach to generating ...

SAM + Optical Flow = FlowSAM FlowSAM может обнаруживать и сегментировать движущиеся объекты на видео и значительно превосходит все предыдущие подходы как в тестах с одним, так и с несколькими объектами

https://www.robots.ox.ac.uk/~vgg/research/flowsam/

Погрузитесь в концепцию «Проклятия размерности» и поймите математику всех удивительных явлений, возникающих в высоких измерениях.

https://towardsdatascience.com/the-math-behind-the-curse-of-dimensionality-cf8780307d74

Medium
The Math Behind “The Curse of Dimensionality”

Dive into the “Curse of Dimensionality” concept and understand the math behind all the surprising phenomena that arise in high dimensions.

5 бесплатных курсов по освоению математики для науки о данных
Хотите изучить математику для науки о данных? Ознакомьтесь с этими тремя курсами, чтобы изучить линейную алгебру, исчисление, статистику и многое другое.

https://www.kdnuggets.com/5-free-courses-to-master-math-for-data-science

KDnuggets
5 Free Courses to Master Math for Data Science

Want to learn math for data science? Check out these three courses to learn linear algebra, calculus, statistics, and more.

Вот 300 часов кураторских курсов, посвященных машинному обучению. 15 курсов. От новичка до продвинутого. Google опубликовал их бесплатно.

Курсы хорошо структурированы. Это не просто ссылки на видео на YouTube. Вам нужно присоединиться к курсу, и у них есть интерфейс, который проведет вас через каждый модуль. Это хороший контент.

https://www.cloudskillsboost.google/paths/17

Qwiklabs
Google Cloud Skills Boost

Qwiklabs provides real Google Cloud environments that help developers and IT professionals learn cloud platforms and software, such as Firebase, Kubernetes and more.

Визуализация внимания, сердце трансформера | Глубокое обучение

https://youtu.be/eMlx5fFNoYc

YouTube
Attention in transformers, visually explained | Chapter 6, Deep Learning

Demystifying attention, the key mechanism inside transformers and LLMs.
Instead of sponsored ad reads, these lessons are funded directly by viewers: https://3b1b.co/support
Special thanks to these supporters: https://www.3blue1brown.com/lessons/attention#thanks…

Представляем SceneScript, новый подход к реконструкции 3D-сцен.

https://ai.meta.com/blog/scenescript-3d-scene-reconstruction-reality-labs-research

Как я пришел к глубокому обучению

https://www.vikas.sh/post/how-i-got-into-deep-learning

Meta AI
Introducing SceneScript, a novel approach for 3D scene reconstruction

Today, we’re introducing SceneScript, a novel method for reconstructing environments and representing the layout of physical spaces.

Примечания о том, как использовать LLM в вашем продукте.

Практически каждая известная мне компания ищет способ извлечь выгоду из больших языковых моделей. Даже если их руководители не видят особой применимости, их инвесторы, скорее всего, видят, поэтому они нервно смотрят на пустую страницу, пытаясь придумать идею. Легко привести доводы в пользу того, что LLM каким-то образом повышает внутреннюю эффективность, но гораздо сложнее описать правдоподобный способ, которым LLM сделает ваш продукт более полезным для ваших клиентов.
https://lethain.com/mental-model-for-how-to-use-llms-in-products

Lethain
Notes on how to use LLMs in your product.

Pretty much every company I know is looking for a way to benefit from Large Language Models. Even if their executives don’t see much applicability, their investors likely do, so they’re staring at the blank page nervously trying to come up with an idea. It’s…

В этом сообщении блога мы поделимся шаблоном, который, по нашему мнению, охватывает большинство рекомендательных систем, развернутых сегодня, с примерами от таких компаний, как Meta, Netflix и Pinterest. Этот шаблон занимает центральное место в том, как мы думаем о создании комплексных систем Recsys в команде NVIDIA Merlin , и мы рады поделиться им с более широким сообществом и помочь достичь понимания и консенсуса относительно того, как выглядят рекомендательные системы (а не только модели)

https://medium.com/nvidia-merlin/recommender-systems-not-just-recommender-models-485c161c755e

Medium
Recommender Systems, Not Just Recommender Models

by Even Oldridge and Karl Byleen-Higley

Математика, лежащая в основе сверточных нейронных сетей
Погрузитесь в CNN, основу компьютерного зрения, разберитесь в ее математике, реализуйте ее с нуля и изучите ее приложения.

https://towardsdatascience.com/the-math-behind-convolutional-neural-networks-6aed775df076

Medium
The Math Behind Convolutional Neural Networks

Dive into CNN, the backbone of Computer Vision, understand its mathematics, implement it from scratch, and explore its applications

🤖 Репозиторий руководств по машинному обучению 🤖

Вы найдете → Python → Компьютерное зрение → NLP → Matplotlib → NumPy → Pandas → MLOps → LLM → PyTorch/TensorFlow . ⬇️

https://github.com/patchy631/machine-learning

GitHub
GitHub - patchy631/machine-learning

Contribute to patchy631/machine-learning development by creating an account on GitHub.

Представляем крупнейший в мире синтетический набор данных Text-to-SQL с открытым исходным кодом

Gretel выпускает крупнейший набор данных Text-to-SQL с открытым исходным кодом для ускорения обучения моделей ИИ
https://gretel.ai/blog/synthetic-text-to-sql-dataset

gretel.ai
Introducing world's largest synthetic open-source Text-to-SQL dataset

Gretel releases largest open source Text-to-SQL dataset to accelerate AI model training

Небольшое руководство по созданию больших языковых моделей в 2024 году.
Это первое видео из серии из двух частей, охватывающей все концепции обучения высокопроизводительной LLM в 2024 году.

https://www.youtube.com/watch?v=2-SPH9hIKT8

YouTube
A little guide to building Large Language Models in 2024

A little guide through all you need to know to train a good performance large language model in 2024.
This is an introduction talk with link to references for further reading.

This is the first video of a 2 part series:
- Video 1 (this video): covering all…

Создание LLM для восстановления кода.
В статье обсуждается функция восстановления кода Replit, которая автоматически исправляет распространенные ошибки программирования и проблемы в коде. В ней рассматривается, как Code Repair помогает разработчикам экономить время и улучшать качество кода, предоставляя автоматизированные решения распространенных проблем с кодированием.

https://blog.replit.com/code-repair

Replit Blog
Replit — Building LLMs for Code Repair

Introduction

At Replit, we are rethinking the developer experience with AI as a first-class citizen of the development environment. Towards this vision, we are tightly integrating AI tools with our IDE. Currently, LLMs specialized for programming are trained…

JS-Torch — PyTorch в JavaScript
Библиотека JavaScript, такая как PyTorch, созданная с нуля… JS-Torch — это библиотека JavaScript для глубокого обучения, созданная с нуля и точно повторяющая синтаксис PyTorch.

https://github.com/eduardoleao052/js-torch

GitHub
GitHub - eduardoleao052/js-pytorch: A JavaScript library like PyTorch, built from scratch.

A JavaScript library like PyTorch, built from scratch. - eduardoleao052/js-pytorch

Дорожная карта разработчиков искусственного интеллекта на 2024 год
Иллюстрированное руководство о том, как стать инженером по искусственному интеллекту в 2024 году, со ссылками на соответствующие курсы.

https://medium.com/javarevisited/the-2024-ai-artificial-intelligence-developer-roadmap-3b81db65c22a

Medium
The 2024 AI (Artificial Intelligence) Developer RoadMap

An illustrated guide to becoming a AI Engineer in 2024 with links to relevant courses

Понимание искусственного интеллекта и нейронных сетей путем ручной настройки параметров

В этом курсе вы получите возможность самостоятельно настроить параметры сети, помогая автомобилю научиться управлять автомобилем на специальной игровой площадке. Этот курс отлично подходит как для новичков, так и для тех, кто хочет углубить свои знания в области искусственного интеллекта.
https://www.freecodecamp.org/news/understand-ai-and-neural-networks-by-manually-adjusting-paramaters

Глубокое обучение Python: PyTorch против Tensorflow

PyTorch против TensorFlow: в чем разница? Обе библиотеки Python с открытым исходным кодом используют графики для выполнения численных вычислений над данными. Оба широко используются в академических исследованиях и коммерческом коде. Оба расширены различными API, платформами облачных вычислений и репозиториями моделей. https://realpython.com/courses/deep-learning-pytorch-tensorflow

freeCodeCamp.org
Understand AI and Neural Networks by Manually Adjusting Parameters

Dr. Radu is one of the most popular machine learning instructors on the Internet. And now he is back to teach AI and Neural Networks for beginners in an intuitive way. We just posted Dr. Radu's newest course on the freeCodeCamp.org YouTube channel. It's designed…

Как устроено пространство, в котором думают языковые модели?

С момента выхода первой статьи «Attention is All You Need» я с жадностью и любопытством, присущими любому исследователю, пытаюсь углубиться во все особенности и свойства моделей на базе архитектуры трансформер. Но, если честно, я до сих пор не понимаю, как они работают и почему так хорошо обучаются. Очень хочу разобраться, в чём же причина такой эффективности этих моделей, и есть ли предел их возможностей?

Такому изучению трансформеров «под микроскопом» и посвящена наша научная работа, только что представленная на конференции EACL 2024, которая проходила на Мальте — «The Shape of Learning: Anisotropy and Intrinsic Dimensions in Transformer-Based Models». В этой работе мы сфокусировались на наблюдении за пространством эмбеддингов (активаций) на промежуточных слоях по мере обучения больших и маленьких языковых моделей (LM). https://habr.com/ru/companies/airi/articles/804515/

Хабр
Как устроено пространство, в котором думают языковые модели?

Изображение сгенерировано Dalle-3 Хабр, привет! Меня зовут Антон Разжигаев, я аспирант Сколтеха и участник научной группы Fusion Brain в институте AIRI. С момента выхода первой статьи «Attention is...

Как использовать действия GitHub для автоматизации очистки данных.
В этом блоге мы рассмотрим, как автоматизировать процесс очистки данных в облаке с помощью действий GitHub.

https://medium.com/data-analytics-at-nesta/how-to-use-github-actions-to-automate-data-scraping-299690cd8bdb

Medium
How to Use GitHub Actions to Automate Data Scraping

A tutorial and evaluation of GitHub Actions for automating a data scraping pipeline in Python