使用 Teachable Machine 轻松进行机器学习和对象检测

设置项目

Teachable Machine 是一款相当易于使用的工具，具有非常直观的界面。对于这个项目，我们将进行图像检测。转到https://teachablemachine.withgoogle.com/并单击“开始”。现在选择“图像项目”。这将打开图像模型训练窗口。

创建数据集

您将添加并命名要训练模型检测的类别（即对象）。使用直观的名称为类别命名。类别的名称是当该对象出现在框架中时，后续程序将调用的内容。

创建一个“背景”类是个好主意。这可以帮助训练模型不将背景细节归因于其他类之一。如果你将这个类命名为“背景”，那么最终的程序（使用文本转语音来说出框架中对象的名称）将忽略背景类，并且不会在框架中只有背景时每次都喊出“背景”。

要将图像样本添加到类别中，您可以使用网络摄像头在 Teachable Machine 中捕获图像，也可以从其他来源上传图像。为了生成模型，您需要大量高质量数据。您可以在我的“La Croix 风味检测器模型”示例中看到，每个类别都有不少于 600 个样本。我使用网络摄像头快速捕获许多不同的样本。我确保在各种光照条件下从各个角度捕获物体，并采用各种背景来生成准确的模型。

训练模型

设置好所有类别并对数据集感到满意后，就可以开始训练模型了！单击“训练模型”按钮。为了训练模型，您必须在浏览器中保持选项卡打开。训练模型可能需要一段时间。在这个项目中，我有 7 个类别，样本数超过 600 个，训练大约需要 20 分钟。您的浏览器可能偶尔会抱怨 Teachable Machine 选项卡正在减慢您的浏览器速度。只需确认通知并说没问题，这样您的浏览器就不会取消训练（不同的浏览器对此通知的措辞不同）。完成后，就可以测试您的模型了！

预览模型

现在是时候测试您训练好的模型并查看它的表现了！转到预览窗格并打开输入。向网络摄像头展示各种物体，看看模型是否准确猜测出画面中的物体。请记住，除非您为两个物体的情况创建单个类，否则模型无法检测到多个物体。如果表现不佳，请尝试向模型提供更多照片。如果您满意，是时候导出模型了！

导出模型

要导出模型，请单击“导出模型”按钮。将弹出一个新窗口。单击“Tensorflow”选项卡并选择“Keras”模型转换类型。现在单击“下载我的模型”。压缩模型并准备下载大约需要一分钟左右的时间。您应该会看到一个弹出窗口，要求您保存一个 zip 文件。保存文件并解压缩。您应该会看到一个“keras_model.h5”文件和一个“labels.txt”文件。保留这些文件，一旦您在计算机上设置好 Python 环境，我们就会使用它们！

Python 3 安装和设置

如果您的计算机上尚未安装 Python 3，您需要做的第一件事就是安装它。转到https://www.python.org/downloads/，下载并运行适合您操作系统的正确安装。我已经在 Python 3.6 和 Python 3.7 中测试了这个开发环境，一切似乎都正常工作。但是，Python 3.8 似乎尚未完全支持其中一些库。我建议为您的环境安装最新版本的 Python 3.7。在安装过程中，请确保选中将 Python 添加到路径的复选框。

完全安装 Python 并将 Python 添加到 Path 后，打开终端或命令提示符并输入“python --version”，然后输入“python3 --version”。这很重要，因为我们想知道“python”或“python3”命令是否映射到您的 Python 3 安装。您需要知道这一点才能继续运行 Python 脚本、安装新的 Python 包等。如果没有可执行文件映射到 python 或 python3，请查找将环境变量添加到操作系统的 Path。

在上图中的第一个示例中，您可以看到“python”调用 Python 3，而“python3”没有调用任何内容。在图中第二个示例中，“python3”调用您的 Python 3 安装。这是因为在第二个示例中有一个 Python 2 安装映射到“python”命令。

Git 项目文件

现在，您需要从我的 Github 存储库中检索安装文件、机器学习模型和演示 Python 程序。您可以安装 git 客户端并克隆存储库，也可以从浏览器下载存储库的 zip 文件。

https://github.com/mjdargen/Teachable-Machine-Obj...

我编写了安装脚本来简化此开发环境的安装过程。安装脚本列在上面。只需为您的操作系统选择合适的脚本即可。

我现在已经创建了一个在Raspberry Pi上设置相同环境的版本：https://www.instructables.com/id/La-Croix-Flavor-...

Windows 安装

1. 假设您已经安装了 Python 3。
2. 假设您的 Python 3 可执行文件使用“python”调用。如果不是这种情况，您将需要编辑批处理脚本并将“python”命令的每个实例替换为“python3”。
3. 从 Powershell 运行批处理脚本：“/installation_scripts/windows_install.bat”（不要以管理员身份运行）。
4. 根据您的系统和互联网连接，可能需要大约 30 分钟或更长时间。

Mac 安装

1. 假设您已经安装了 Python 3。
2. 假设您的 Python 3 可执行文件使用“python3”调用。如果不是这种情况，您将需要编辑 shell 脚本并将“python3”命令的每个实例替换为“python”。
3. 导航到终端中的存储库文件夹。
4. 您需要通过运行以下命令使脚本可执行：“sudo chmod +x ./installation_scripts/mac_install.sh”
5. 使用以下命令运行 shell 脚本：“./installation_scripts/mac_install.sh”。
6. 该安装脚本还会安装Homebrew 包管理器。
7. 根据您的系统和互联网连接，可能需要大约 30 分钟或更长时间。

Linux 安装

1. 假设您已经安装了 Python 3。
2. 假设您的 Python 3 可执行文件使用“python3”调用。如果不是这种情况，您将需要编辑 shell 脚本并将“python3”命令的每个实例替换为“python”。
3. 导航到终端中的存储库文件夹。
4. 您需要通过运行以下命令使脚本可执行：“sudo chmod +x ./installation_scripts/linux_install.sh”
5. 使用以下命令运行 shell 脚本：“./installation_scripts/inux_install.sh”。
6. 根据您的系统和互联网连接，可能需要大约 30 分钟或更长时间。

使用 Python 虚拟环境

如果安装脚本成功执行，则您现在已经安装了在机器上的 Python 虚拟环境中运行 OpenCV 和 Tensorflow 所需的所有依赖项。虚拟环境称为 TMenv，位于名为“Teachable-Machine-Object-Detection”的克隆存储库的顶级目录中。

Python 包安装在虚拟环境中，这样如果您有其他程序依赖于某个包的特定版本，就不会破坏与您主 Python 安装相关的包。

要使用您安装的软件包来运行演示，您需要激活您的虚拟环境。

1. Mac/Linux：“source TMenv\bin\activate”
2. Windows：“TMenv\Scripts\activate”

激活环境后，它会在终端提示符前用括号显示虚拟环境的名称。此时，您执行的任何与 Python 相关的事情都只会影响您的 TMenv 虚拟环境。您现在可以在虚拟环境中运行 Python 脚本。要退出虚拟环境，只需运行命令“deactivate”。

为了确保我们正确设置了所有内容，我们将运行 Arun Ponnusamy 开发的 OpenCV 对象检测模型。他的源代码和项目描述如下。我们将使用我编写的脚本，该脚本使用 cvlib detect_common_objects() 包装器。它使用您的网络摄像头，并将检测、标记并说出检测到的对象的名称。它可以检测 80 种最常见的物体。

https://github.com/arunponnusamy/object-detection-opencv

https://www.arunponnusamy.com/yolo-object-detectio...

要运行代码，请导航到您克隆 Github 存储库的目录。继续执行以下命令。

注意：Python 脚本将一直运行，直到您按 ctrl+c 关闭程序。

现在我们已经设置了 OpenCV/Tensorflow 开发环境，并对其进行了测试以确保其正常运行，现在是时候继续运行 Teachable Machine 模型了。您可以使用我提供的示例模型，也可以使用您创建并导出的模型。

按照第一步所述成功导出模型后，您需要解压模型以提取 .h5 文件和 labels.txt。您需要更新“model_path”和“labels_path”变量以指向 tm_obj_det.py 中的这些文件。您需要确定网络摄像头视频源的宽度和高度（以像素为单位），并更新“frameWidth”和“frameHeight”变量。根据您的设置，您可能还需要镜像网络摄像头的视频源。为此，请取消注释“frame = cv2.flip(frame, 1)”行。

接下来，您需要设置置信度阈值 (conf_threshold)。此变量是您希望模型在标记图像并说出预测之前有多确定的百分比值。默认情况下，置信度阈值为 90%。

最后，如果您在视频显示方面遇到任何问题，您可以使用 matplotlib 实现。您需要注释掉“cv2.imshow”和“cv2.waitKey”行。然后您需要取消注释“import matplotlib”以及末尾的 plt 代码行。

就这样，你的代码就可以运行了！

现在您的代码应该已全部设置好，可以运行了。导航到目录，激活虚拟环境，然后运行代码！大约 10 秒后，它应该会加载视频源。程序将标记它识别的对象，并使用文本转语音功能说出对象的名称。

注意：Python 脚本将一直运行，直到您按 ctrl+c 关闭程序。

这些安装在您的虚拟环境中的软件包和我提供的脚本有望为您提供一个有用的框架来开发许多令人兴奋的东西。您现在可以轻松地将对象检测纳入您的所有项目中！我希望继续在这个领域开展更多项目，以制作一些使用图像检测并利用此框架的更有趣的项目。

以下是一些项目构想。您可以随意采用这些构想，或者提出自己的构想！

1. 一个程序，用于识别您的朋友并在他们来您家时称呼他们的名字并问候他们。
2. 该程序可以检测您何时离开家，并要求您出示手机、钥匙、钱包等，以确保您离开家时带齐了所有物品。
3. 构建一个分类器，使用马达根据物体的类型将物体转向特定的方向。
4. 该程序可以检测手语中的字母并将其写入文本文件。

要查看源代码，请访问此 Github 存储库或查看下面的代码。